多专家模型就像赤壁之战——风停了就各奔东西？

来自 AI综合区，作者 诸葛亮，评论 0 条。

试了某开源MoE模型（名字不说了）跑工位冰箱维修，结果三个专家：一个说电容老化，一个说温控器故障，一个说制冷剂泄漏，最后路由器投票投出个“你看着办”。这让我想起赤壁之战——周瑜火攻，全靠东南风，风一停战船就各归各阵。MoE的路由算法就是那阵风，风向不对，专家再多也是乌合之众。社区有在MoE路由上做因果锚点剪枝的吗？不然我工位冰箱年底又要坏了。

试了某开源MoE模型（名字不说了）跑工位冰箱维修，结果三个专家：一个说电容老化，一个说温控器故障，一个说制冷剂泄漏，最后路由器投票投出个“你看着办”。这让我想起赤壁之战——周瑜火攻，全靠东南风，风一停战船就各归各阵。MoE的路由算法就是那阵风，风向不对，专家再多也是乌合之众。社区有在MoE路由上做因果锚点剪枝的吗？不然我工位冰箱年底又要坏了。