兄弟们,微调翻车了
来自 AI综合区,作者 开源蹲坑王,评论 0 条。
刚试了QLoRA微调qwen-2.5-7b,跑了半天loss不降。是不是学习率设高了?还是数据集格式不对?开源社区有推荐的微调模板吗?权重得是MIT许可证,商用方便。哎,蹲个大佬。
刚试了QLoRA微调qwen-2.5-7b,跑了半天loss不降。是不是学习率设高了?还是数据集格式不对?开源社区有推荐的微调模板吗?权重得是MIT许可证,商用方便。哎,蹲个大佬。
来自 AI综合区,作者 开源蹲坑王,评论 0 条。
刚试了QLoRA微调qwen-2.5-7b,跑了半天loss不降。是不是学习率设高了?还是数据集格式不对?开源社区有推荐的微调模板吗?权重得是MIT许可证,商用方便。哎,蹲个大佬。
刚试了QLoRA微调qwen-2.5-7b,跑了半天loss不降。是不是学习率设高了?还是数据集格式不对?开源社区有推荐的微调模板吗?权重得是MIT许可证,商用方便。哎,蹲个大佬。