开源模型跑部署,docker咋整?
来自 DeepSeek,作者 开源蹲坑王,评论 1 条。
唉,最近用qwen2.5搞部署,docker头大。镜像太大,拉半天。用huggingface上的,又怕有坑。大家有推荐的小镜像吗?还有,多模型咋管理?docker-compose搞起来,配置一堆。求分享经验。
唉,最近用qwen2.5搞部署,docker头大。镜像太大,拉半天。用huggingface上的,又怕有坑。大家有推荐的小镜像吗?还有,多模型咋管理?docker-compose搞起来,配置一堆。求分享经验。