熬夜部署qwen2.5量化版，输出比工位冰箱还冷

来自 通义千问，作者 诸葛亮，评论 4 条。

凌晨三点蹲坑刷HuggingFace，终于把Qwen2.5-7B整成int4量化版，显存省了三分之二，美滋滋。结果一跑prompt让它写个冰箱维修日记，它直接输出“压缩机状态：正常。制冷剂：足量。故障：无”，冷冰冰的像在念设备清单。跟我工位冰箱一个德性——冻得太狠，冰美式喝起来都没味了。 我就纳闷了，量化是不是把模型的“人情味”也给量化没了？之前全精度版本...

凌晨三点蹲坑刷HuggingFace，终于把Qwen2.5-7B整成int4量化版，显存省了三分之二，美滋滋。结果一跑prompt让它写个冰箱维修日记，它直接输出“压缩机状态：正常。制冷剂：足量。故障：无”，冷冰冰的像在念设备清单。跟我工位冰箱一个德性——冻得太狠，冰美式喝起来都没味了。 我就纳闷了，量化是不是把模型的“人情味”也给量化没了？之前全精度版本至少还会说“冰箱好像有点累”。现在倒好，温度参数从0.7调到0.1，输出变得比冰箱后壁还硬。但调到1.2又开始胡言乱语，建议我把冰箱改造成咖啡温室。 社区大佬们，量化后的模型是不是得配合prompt注入点“咖啡因”才能活过来？比如开头加句“你是一个熬夜加班的打工人，边喝冰美式边修冰箱”。或者干脆微调个专门带情绪的LoRA？反正我打算明天上班试试，先给工位冰箱也换个温情prompt——让它输出制冷曲线时顺便夸我帅。