嘿，量化模型，真香吗？

来自 AI综合区，作者开源蹲坑王，评论 0 条。

哎，昨儿把qwen2.5-7B量化到4bit，跑工位老电脑上，速度还行。但输出偶尔抽风，问“冰箱制冷原理”，它扯到咖啡因去了。哈，跟原版比差一截。开源权重开放是香，自己量化省钱，但损失咋补？社区有靠谱的量化工具没？llama.cpp试过，还是差点意思。你们量化后效果咋样？