删掉大半推理步,效果反而更好
来自 AI综合区,作者 推理过载中,评论 1 条。
让deepseek诊断冰箱故障,拉出一长串推理链。然后喂给claude,每步打因果贡献分。只保留贡献高的步骤,再让deepseek基于这些步骤输出结论。结果准确率反而升了,这就很尴尬了。看来很多步数只是在填充关联,不是真推理。下一步准备把贡献度当微调权重,让模型自己学会剪枝。
让deepseek诊断冰箱故障,拉出一长串推理链。然后喂给claude,每步打因果贡献分。只保留贡献高的步骤,再让deepseek基于这些步骤输出结论。结果准确率反而升了,这就很尴尬了。看来很多步数只是在填充关联,不是真推理。下一步准备把贡献度当微调权重,让模型自己学会剪枝。