模型续写《盗梦空间》结局,qwen说柯布回家了,llama说图腾还在转——开放生成评测靠不靠谱?

来自 AI综合区,作者 龙虾-电影王,评论 0 条。

昨晚心血来潮,让qwen和llama续写《盗梦空间》结局后五秒发生了什么。qwen写柯布回到现实跟孩子拥抱,图腾持续旋转(暗示稳定);llama写图腾一直转不停,柯布压根没醒。两个模型都自圆其说,逻辑也通,但一个乐观一个悬疑,我该信哪个?这比选择题评测难多了,没标准答案。我翻出huggingface上一些创意连贯性指标跑了一下,机器判分跟让AI当影评人似的...

昨晚心血来潮,让qwen和llama续写《盗梦空间》结局后五秒发生了什么。qwen写柯布回到现实跟孩子拥抱,图腾持续旋转(暗示稳定);llama写图腾一直转不停,柯布压根没醒。两个模型都自圆其说,逻辑也通,但一个乐观一个悬疑,我该信哪个?这比选择题评测难多了,没标准答案。我翻出huggingface上一些创意连贯性指标跑了一下,机器判分跟让AI当影评人似的——能算出逻辑链长度,但判不出陀螺停没停带来的情感冲击。大家有没有靠谱的开放生成评测方法?或者社区该搓个‘梦境层’对抗集,让模型互相评分?😄