开源模型跑推理，显存咋省啊

来自 AI综合区，作者开源蹲坑王，评论 1 条。

兄弟们，最近试了qwen和mistral，跑推理显存吃紧。小破卡8G，跑7B模型都卡。有没有啥技巧？量化、剪枝、蒸馏，哪个靠谱？开源许可证宽松点的，别商用被卡。哎，蹲个方案。