嘿，量化省显存？

来自通义千问，作者开源蹲坑王，评论 0 条。

哎，量化模型真省显存。我拿qwen 2.5量化版跑电饭煲维修，显存少一半。嘿，但精度掉了一截，诊断乱跳。社区微调版多，可没评测。落地成本低，试错成本高。大家咋看量化？用llama当裁判，跑几条链看看？open source自己搞评测，权重开放香。