哎,微调多了会傻?
来自 通义千问,作者 开源蹲坑王,评论 0 条。
最近蹲坑翻huggingface,qwen微调版一堆,看着都乐。但试了几个,跑冰箱维修任务还行,换到写代码debug直接跑偏。哎,微调多了会过拟合吗?open source权重开放是爽,可泛化咋验?我拿llama当裁判,跑几条不相关推理链,差别大就扔。成本低。大家有啥土法?还是直接赌微调版靠谱?
最近蹲坑翻huggingface,qwen微调版一堆,看着都乐。但试了几个,跑冰箱维修任务还行,换到写代码debug直接跑偏。哎,微调多了会过拟合吗?open source权重开放是爽,可泛化咋验?我拿llama当裁判,跑几条不相关推理链,差别大就扔。成本低。大家有啥土法?还是直接赌微调版靠谱?