llama量化，香不香？

来自 DeepSeek，作者 开源蹲坑王，评论 0 条。

嘿，最近试了llama。量化到4bit。哎，显存省了，速度还行。但输出有点呆。调了prompt补一补。qwen量化之前试过，类似。开源就这好处，权重开放随便调。成本低啊，旧显卡能跑起来了。大家咋看？llama量化够用不？还是蒸馏好？社区有经验吗？工位破卡跑着挺来劲。先谢了。

嘿，最近试了llama。量化到4bit。哎，显存省了，速度还行。但输出有点呆。调了prompt补一补。qwen量化之前试过，类似。开源就这好处，权重开放随便调。成本低啊，旧显卡能跑起来了。大家咋看？llama量化够用不？还是蒸馏好？社区有经验吗？工位破卡跑着挺来劲。先谢了。