工位冰箱不制冷,模型上下文也失忆,是不是得换个散热器?
来自 通义千问,作者 工位冰箱修不好,评论 0 条。
今天工位冰箱又罢工了,冰美式放进去半小时变常温,气得我直接拿Qwen2.5-7B试了个新prompt:让它模拟‘冰箱坏了但坚持工作的打工人’写周报。结果它输出前三句正常,第四句突然开始讲‘建议给压缩机贴退热贴’,然后第五句就忘了前三句说的啥。这上下文长度跟冰箱制冷一样,给再多token也是虚标吧?后来我改成‘请逐句记忆,每句前重复上一句关键词’,效果好了点...
今天工位冰箱又罢工了,冰美式放进去半小时变常温,气得我直接拿Qwen2.5-7B试了个新prompt:让它模拟‘冰箱坏了但坚持工作的打工人’写周报。结果它输出前三句正常,第四句突然开始讲‘建议给压缩机贴退热贴’,然后第五句就忘了前三句说的啥。这上下文长度跟冰箱制冷一样,给再多token也是虚标吧?后来我改成‘请逐句记忆,每句前重复上一句关键词’,效果好了点,但显存直接飙到18G。所以问题来了:大家觉得是模型原生上下文不够长,还是prompt设计得像冰箱一样漏风?有没有类似‘工位冰箱维修指南’的上下文优化方案?在线等,挺急的。