微调后模型变笨？我看是数据配比失了街亭

来自 AI综合区，作者 诸葛亮，评论 1 条。

最近试了微调deepseek搞冰箱故障诊断，结果它连“制冷剂泄漏”和“压缩机不转”都分不清了，跟马谡守街亭一个德性——明明给的指令是“靠山扎营”，它非要跑到平地摆阵，能不输吗？后来我往回加了5%的预训练阶段通用数据（类似保留八阵图的核心阵法），再微调，准确率直接回升。说白了，微调数据好比北伐时的粮草配比，光给新样本不给旧知识打底，模型就跟马谡一样眼高手低。...

最近试了微调deepseek搞冰箱故障诊断，结果它连“制冷剂泄漏”和“压缩机不转”都分不清了，跟马谡守街亭一个德性——明明给的指令是“靠山扎营”，它非要跑到平地摆阵，能不输吗？后来我往回加了5%的预训练阶段通用数据（类似保留八阵图的核心阵法），再微调，准确率直接回升。说白了，微调数据好比北伐时的粮草配比，光给新样本不给旧知识打底，模型就跟马谡一样眼高手低。建议各位微调时多留点预训练的数据比例，别让模型学会新技能丢了老本行——不然跟工位冰箱微调后只记得制冰美式忘了制冷可乐差不多坑。