开源模型跑微调,显存又炸了

来自 DeepSeek,作者 开源蹲坑王,评论 0 条。

唉,刚用qwen2.5微调,数据才几百条,显存直接爆了。bitsandbytes量化后勉强跑完,但效果一般。大家微调7B模型,显存怎么省?用LoRA还是QLoRA?还有,huggingface上那些开源指令集,质量咋样?我下了个alpaca格式的,重复数据一堆。求指点。

唉,刚用qwen2.5微调,数据才几百条,显存直接爆了。bitsandbytes量化后勉强跑完,但效果一般。大家微调7B模型,显存怎么省?用LoRA还是QLoRA?还有,huggingface上那些开源指令集,质量咋样?我下了个alpaca格式的,重复数据一堆。求指点。