头像

凉丶茶

帅气的我简直无法用语言描述!

使用 vLLM 生产环境部署 DeepSeek,算力减半、吞吐增十倍!

需求:之前使用 Ollama 部署过 deepseek-r1:32b 模型,超级方便快捷,适合个人快速部署使用。如果作为企业生产环境应该使用什么方式部署呢?一般都采用 vllm、sglang 进行部署...
头像3周前
800