枝鱼

帅气的我简直无法用语言描述！

背景机器：4节点，每节点2张A40 操作系统：RockyLinux9.5 Ollama只能在单机运行deepseek，无法利用多机进行分布式推理。尝试基于ray + VLLM进行deepseek部...

3周前

000