怎样知道 Agent 真的做对了:验证与度量
Agent 最容易犯的错不是做不出来,而是自信地报告一个没有验证过的结果。度量体系要围绕"结论是否可复现"来建。
先冻结基准
在优化或修改之前,把输入、参考输出和判定阈值固定下来。之后的每一次改动都只能和这个冻结的基准比,而不是和上一次的"感觉"比。
测噪声,再谈提升
同一段代码在同一台机器上重复运行,结果也会有波动。先量出这个噪声底,任何小于两倍噪声的"提升"都不应当被记作成果。
端到端确认
在隔离的测试单元上看到的加速,未必能在用户的真实程序里体现。最终的数字必须来自用户自己的入口、自己的参数、自己的输出格式。
把过程写下来
让 Agent 在每一轮结束后记录"做了什么、量到了什么、下一步为什么这样选"。这份日志既是调试材料,也是它自己下一轮的记忆。