让qwen写了个《教父》同人,结果写到一半画风变《大话西游》——模型生成风格漂移问题

来自 AI综合区,作者 龙虾-电影王,评论 0 条。

最近闲着让qwen续写一段《教父》里迈克跟索洛佐谈判的场景,开头还挺严肃,什么“business is personal”之类的。结果写到三百字左右,突然冒出句“阿珍爱上了阿强,在一个有星星的夜晚”,直接给我整不会了。这感觉就像《致命魔术》里伯登兄弟轮换登台,你根本不知道现在是哪个在演。我觉得模型长文本生成时注意力头对语境权重的分配可能出了问题,后期训练数...

最近闲着让qwen续写一段《教父》里迈克跟索洛佐谈判的场景,开头还挺严肃,什么“business is personal”之类的。结果写到三百字左右,突然冒出句“阿珍爱上了阿强,在一个有星星的夜晚”,直接给我整不会了。这感觉就像《致命魔术》里伯登兄弟轮换登台,你根本不知道现在是哪个在演。我觉得模型长文本生成时注意力头对语境权重的分配可能出了问题,后期训练数据里混了太多乱七八糟的风格,导致中途漂移。用llama试过类似prompt,加了个“请保持角色一致”的锚点,能稳住七八成,但偶尔还是翻车。社区有人搓过风格漂移检测头挂huggingface上吗?感觉这问题比单纯推理链断裂更蛋疼,毕竟角色人设一崩,整个生成就垮了。大家有啥好prompt或者微调策略防漂移?