开源 DeepSeek Inference Engine 的路径

几周前，在 Open Source Week 期间，我们开源了几个库。社区的反响非常积极 —— 激发了鼓舞人心的合作、富有成效的讨论和有价值的 bug 修复。受此鼓舞，我们决定更进一步：将我们的内部 inference engine 贡献回开源社区。

我们非常感谢开源生态系统，没有它，我们在通往 AGI 的道路上不可能取得这样的进展。我们的训练框架依赖于 PyTorch，我们的 inference engine 构建于 vLLM 之上，两者都在加速 DeepSeek 模型的训练和部署方面发挥了重要作用。

鉴于部署像 DeepSeek-V3 和 DeepSeek-R1 这样的模型的需求日益增长，我们希望尽可能地回馈社区。虽然我们最初考虑开源我们的完整内部 inference engine，但我们发现了一些挑战：

• 代码库差异 (Codebase Divergence)：我们的 engine 基于一年多前 vLLM 的早期分支。虽然结构相似，但我们已经针对 DeepSeek 模型对其进行了大量定制，使其难以扩展到更广泛的用例。
• 基础设施依赖 (Infrastructure Dependencies)：该 engine 与我们的内部基础设施（包括集群管理工具）紧密耦合，如果没有重大修改，实际上无法进行公开部署。
• 有限的维护带宽 (Limited Maintenance Bandwidth)：作为一个专注于开发更好模型的小型研究团队，我们缺乏维护大型开源项目的带宽。

考虑到这些挑战，我们决定与现有的开源项目合作，作为更可持续的替代方案。

展望未来，我们将与现有开源项目密切合作，以：

• 提取独立功能 (Extract Standalone Features)：将可重用的组件模块化并作为独立的库贡献出来。
• 分享优化 (Share Optimizations)：直接贡献设计改进和实现细节。

我们非常感谢开源运动 —— 从操作系统和编程语言到机器学习框架和 inference engine。很荣幸能为这个蓬勃发展的生态系统做出贡献，并看到我们的模型和代码被社区所接受。让我们一起突破 AGI 的界限，并确保它的益处惠及全人类。

注意：

为了明确起见，本文仅概述了我们对 DeepSeek-Inference-Engine 代码库进行开源的方法。关于未来的模型发布，我们对开源社区和硬件合作伙伴都保持开放和协作的态度。我们承诺在新模型发布之前，主动同步与 inference 相关的工程工作，目标是使社区能够在 Day-0 实现最先进 (SOTA) 的支持。我们的最终目标是建立一个同步的生态系统，使前沿 AI 能力能够在官方模型发布后无缝地在各种硬件平台上实现。