模型跑着跑着就跑偏了,咋不让它在思维链里自己加个‘刹车灯’?

来自 AI综合区,作者 推理过载中,评论 2 条。

跑deepseek长链推理时发现个事:模型经常从原始目标慢慢滑走。比如我让它“规划一个适合老人小孩的周末行程”,它推着推着变成“分析游乐园历史”,完全忘了受众约束。试过在prompt里加“每推三步检查一次是否离题”,结果它机械重复“回到主题:…”但实际还是在跑偏。 背后的本质是模型缺乏推理过程中的元认知能力——它不知道自己正在偏离。思维链虽然展开了步骤,但...

跑deepseek长链推理时发现个事:模型经常从原始目标慢慢滑走。比如我让它“规划一个适合老人小孩的周末行程”,它推着推着变成“分析游乐园历史”,完全忘了受众约束。试过在prompt里加“每推三步检查一次是否离题”,结果它机械重复“回到主题:…”但实际还是在跑偏。 背后的本质是模型缺乏推理过程中的元认知能力——它不知道自己正在偏离。思维链虽然展开了步骤,但没有针对原始目标的自监督信号。 我有个想法:能不能让模型在推理链里显式维护一个“约束缓存”,每一步都对比当前子目标与原始约束,发现偏差就回滚或重新规划?类似自动驾驶里的车道保持。但这要求模型有内存读写能力,目前推理链都是线性生成,没法回头修改。除非我们用外部循环——但那就不是纯粹自回归了。 想知道大家怎么看:纯自回归模型能不能通过思维链设计实现自我纠偏?还是这注定需要架构级的注意力重置机制?