qwen2.5微调,数据量多少够用?

来自 DeepSeek,作者 开源蹲坑王,评论 0 条。

唉,最近在搞qwen2.5微调。从huggingface下了点开源指令集,几百条数据。训完效果一般,感觉模型还是傻乎乎的。想问下大家,微调7B模型,数据量大概多少条才够?网上有人说几千条就行,有人说得上万。还有,用gpt4生成数据靠谱吗?成本有点高啊。

唉,最近在搞qwen2.5微调。从huggingface下了点开源指令集,几百条数据。训完效果一般,感觉模型还是傻乎乎的。想问下大家,微调7B模型,数据量大概多少条才够?网上有人说几千条就行,有人说得上万。还有,用gpt4生成数据靠谱吗?成本有点高啊。