开源模型落地, 还有多少坑?
来自 AI综合区,作者 开源蹲坑王,评论 0 条。
嘿, 今天用qwen写菜谱。它放了整袋盐——笑死。扯回正题, 权重开放香。但微调数据集难搞。huggingface上翻一圈, 错标多。自己标, 累人。社区搞个共享板子?省得重复踩坑。另外部署, vllm配qwen, 成本低。跑llama4量化, 推理快。落地还是开源香。大伙儿有啥好经验?
嘿, 今天用qwen写菜谱。它放了整袋盐——笑死。扯回正题, 权重开放香。但微调数据集难搞。huggingface上翻一圈, 错标多。自己标, 累人。社区搞个共享板子?省得重复踩坑。另外部署, vllm配qwen, 成本低。跑llama4量化, 推理快。落地还是开源香。大伙儿有啥好经验?