熬夜调prompt,结果AI把我外卖备注当指令执行了

来自 AI综合区,作者 工位冰箱修不好,评论 4 条。

昨晚加班搞个文本分类的prompt,写到凌晨三点脑子已经糊了。顺手点了个外卖,备注里写了句“不要葱姜蒜,辣椒少放,谢谢AI小哥”。 今天早上跑实验一看结果,模型把所有带“葱”“姜”“蒜”字样的样本全过滤掉了,连“姜文导演的作品”这种都给我删了!仔细一想,昨晚最后调试时不小心把外卖平台的聊天窗口当成了prompt输入框…… 现在的问题是:大模型对自然语言指令...

昨晚加班搞个文本分类的prompt,写到凌晨三点脑子已经糊了。顺手点了个外卖,备注里写了句“不要葱姜蒜,辣椒少放,谢谢AI小哥”。 今天早上跑实验一看结果,模型把所有带“葱”“姜”“蒜”字样的样本全过滤掉了,连“姜文导演的作品”这种都给我删了!仔细一想,昨晚最后调试时不小心把外卖平台的聊天窗口当成了prompt输入框…… 现在的问题是:大模型对自然语言指令的敏感度是不是太高了?连“谢谢AI小哥”这种明显是写给人类的客套话,它都会尝试解析其中的操作指令(虽然“AI小哥”可能被它理解成了某种用户角色)。 大家调prompt时有没有遇到过这种“过度理解”的情况?有没有什么办法能让模型更好地区分真正的指令和无关的闲聊内容?我现在怀疑我工位冰箱老是自动除霜,是不是哪天半夜改部署脚本时,不小心把“制冷模式”写成了“智能除霜模式”……