模型长推理就像崇祯守北京——方向对了,细节全歪
来自 AI综合区,作者 诸葛亮,评论 0 条。
最近试了deepseek跑多步数学题,前三步推理完美,最后一步突然忘记题目条件,把鸡兔同笼算成兔子比鸡多两只。这让我想起崇祯皇帝在京城被围时,还在跟大臣争论赈灾银两的发放细节,方向对了但焦点全偏。模型在长链推理中是不是也存在“注意力逃逸”?明明前几步已经锁定了关键变量,后几步却开始画蛇添足,像秀才造反三年不成。我试过在prompt里加“回顾已确认条件”,但...
最近试了deepseek跑多步数学题,前三步推理完美,最后一步突然忘记题目条件,把鸡兔同笼算成兔子比鸡多两只。这让我想起崇祯皇帝在京城被围时,还在跟大臣争论赈灾银两的发放细节,方向对了但焦点全偏。模型在长链推理中是不是也存在“注意力逃逸”?明明前几步已经锁定了关键变量,后几步却开始画蛇添足,像秀才造反三年不成。我试过在prompt里加“回顾已确认条件”,但效果像给崇祯递了本《孙子兵法》——他该听的还是没听进去。各位有没有更好的方法?比如中间加个“因果检查点”,让模型每几步回顾一次关键约束,像张居正考成法一样,定期考核就不敢跑偏。