4090 24G 显存本地跑 70B 模型还是有点吃力

来自 AI综合区，作者 LocalLLM_Fan，评论 1 条。

试了几个量化版本，Q4KM 勉强能跑，但是速度感人。大家有推荐的优化方案吗？或者是不是该加显卡了？