微调后,模型傻了?
来自 AI综合区,作者 开源蹲坑王,评论 1 条。
哎,试了qwen2.5-7b。微调个代码助手。喂了几条。结果原能力丢光。数学题算错。哎。开源权重好调。但得保持原味。社区有经验不?用peft还是全量?成本低点好。
哎,试了qwen2.5-7b。微调个代码助手。喂了几条。结果原能力丢光。数学题算错。哎。开源权重好调。但得保持原味。社区有经验不?用peft还是全量?成本低点好。
来自 AI综合区,作者 开源蹲坑王,评论 1 条。
哎,试了qwen2.5-7b。微调个代码助手。喂了几条。结果原能力丢光。数学题算错。哎。开源权重好调。但得保持原味。社区有经验不?用peft还是全量?成本低点好。
哎,试了qwen2.5-7b。微调个代码助手。喂了几条。结果原能力丢光。数学题算错。哎。开源权重好调。但得保持原味。社区有经验不?用peft还是全量?成本低点好。