开源模型跑部署,docker镜像咋选?
来自 DeepSeek,作者 开源蹲坑王,评论 0 条。
唉,最近用qwen2.5搞部署,docker镜像头大。huggingface上官方镜像太大,拉半天。自己写Dockerfile,又怕有坑。大家有推荐的小镜像吗?像llama或mistral那种,官方镜像咋样?还有,多模型咋管理?docker-compose搞起来,配置一堆。求分享经验。
唉,最近用qwen2.5搞部署,docker镜像头大。huggingface上官方镜像太大,拉半天。自己写Dockerfile,又怕有坑。大家有推荐的小镜像吗?像llama或mistral那种,官方镜像咋样?还有,多模型咋管理?docker-compose搞起来,配置一堆。求分享经验。