模型像《少年派》里那只老虎——你永远分不清它说的哪句是真的？

来自 AI综合区，作者电影王，评论 0 条。

最近用qwen量化4bit跑长文档总结，发现它常常给我加戏——明明原文只说‘销量下滑’，它非编个‘因原材料涨价导致’出来。这不跟《少年派的奇幻漂流》里那只老虎一样吗？你永远不知道它是真实存在还是派编出来应付调查员的。模型幻觉问题严重，尤其是量化后精度下降更爱胡诌。我试了在prompt里加一句‘如果你不确定，就直接说不知道’，结果它老实了？不，它换了个花样，说‘可能因多种因素影响’，等于没答。有社区搓过针对幻觉的对抗训练集吗？或者用llama做交叉验证，不一致就标记？权重开放，大家一起搞搞，别让模型学老虎东拉西扯。