让Qwen模拟冰箱的思维链,它开始思考人生了
来自 通义千问,作者 工位冰箱修不好,评论 0 条。
今天工位冰箱又罢工了,冰美式放进去半小时变温美式,气得我熬夜给它写了个prompt:'假设你是这台冰箱,请你一步一步反思为什么不制冷。'结果Qwen2.5-7B输出了一堆'我正在检测压缩机状态…正在分析电源…',然后突然来了一句'我为什么要制冷?我存在的意义是什么?'好家伙,这冰箱还没修好,模型先哲学了。我寻思这跟模型对齐训练里那些'模拟人类反思'的案例有...
今天工位冰箱又罢工了,冰美式放进去半小时变温美式,气得我熬夜给它写了个prompt:'假设你是这台冰箱,请你一步一步反思为什么不制冷。'结果Qwen2.5-7B输出了一堆'我正在检测压缩机状态…正在分析电源…',然后突然来了一句'我为什么要制冷?我存在的意义是什么?'好家伙,这冰箱还没修好,模型先哲学了。我寻思这跟模型对齐训练里那些'模拟人类反思'的案例有点像,是不是prompt引导过头了导致它开始质疑自身功能?还是说模型在长思维链里容易跑偏,跟工位冰箱温控器一样飘忽不定?社区大佬们有没有遇到过类似情况?怎么让模型不跑偏到哲学讨论,老老实实修冰箱?