评测28种 Agent 组合，最高任务解决率仅14%
← 返回今日版面来源
1 条复旦大学等机构研究者推出LoLBench评测基准，将Agent置于大型软件系统中评估其完整长程代码任务能力。实验显示当前Agent最高任务解决率仅14%，大量交互与Token消耗集中在代码定位环节。最佳组合任务解决率提升至34%，仍有66%任务无法完成，暴露出Agent易遗漏跨模块同步改动的关键断点。
复旦大学等机构研究者推出LoLBench评测基准，将Agent置于大型软件系统中评估其完整长程代码任务能力。实验显示当前Agent最高任务解决率仅14%，大量交互与Token消耗集中在代码定位环节。最佳组合任务解决率提升至34%，仍有66%任务无法完成，暴露出Agent易遗漏跨模块同步改动的关键断点。
