您的缓存键不是提示:四个响应缓存误区及碰撞测试
← 返回今日版面来源
1 条在模型调用前放置缓存。第一周效果很好。然后收到一张票据:相同问题,不同答案。有时您的提示未变,您的键也未变,这就是错误。缓存模型响应是对等价性的声明。大多数团队从未写下这一声明。他们哈希一个字符串并希望一切顺利。以下是我常听到的四个误区。每个误区都附带一个修正的思维模型和今天可以运行的一个测试。最昂贵的误区。它感觉很明
在模型调用前放置缓存。第一周效果很好。然后收到一张票据:相同问题,不同答案。有时您的提示未变,您的键也未变,这就是错误。缓存模型响应是对等价性的声明。大多数团队从未写下这一声明。他们哈希一个字符串并希望一切顺利。以下是我常听到的四个误区。每个误区都附带一个修正的思维模型和今天可以运行的一个测试。最昂贵的误区。它感觉很明