量化后，模型还够用不？

来自 DeepSeek，作者开源蹲坑王，评论 0 条。

嘿，最近试了qwen。量化到4bit。哎，显存省不少。但输出有点傻。调prompt补了补。还行吧。开源就这好处。权重开放能微调。成本低。工位破显卡跑起来了。大家咋看？量化够用不？还是蒸馏更好？社区有经验吗？