Docker Model Runner

Source | HN Comments

文章介绍了 Docker Model Runner，这是一个新的工具，旨在简化在本地构建和运行生成式 AI 模型的过程。它允许开发者像运行容器一样轻松地运行 AI 模型，并提供 GPU 加速。Docker Model Runner 通过 OCI Artifacts 标准化模型打包，方便模型的存储和分发。该工具与 Google、HuggingFace 等公司合作，提供高质量模型和工具支持，旨在提升本地 AI 开发的性能、降低成本，并改善开发者体验。

隆重推出 Docker Model Runner：一种构建和本地运行 GenAI 模型的新方式

Deanna Sparks 撰写

生成式AI正在改变软件开发，但是本地构建和运行AI模型仍然比应该的更加困难。现今的开发者面临着零散的工具、硬件兼容性问题以及断开连接的应用程序开发工作流程，所有这些都阻碍了迭代并减慢了进度。

这就是我们推出 Docker Model Runner 的原因——这是一种更快、更简单的方式，可以直接从您现有的工作流程中在本地运行和测试AI模型。无论您是在试验最新的LLM，还是部署到生产环境，Model Runner都能为您带来所需的性能和控制，而没有摩擦。

我们还与AI和软件开发领域一些最具影响力的公司合作，包括Google, Continue, Dagger, Qualcomm Technologies, HuggingFace, Spring AI 和 VMware Tanzu AI Solutions，让开发者可以直接访问最新的模型、框架和工具。这些合作伙伴关系不仅仅是集成，更是一项共同的承诺，即让AI创新更易于访问、更强大且对开发者更友好。借助 Docker Model Runner，您可以直接从您的 Docker 工作流程中利用AI生态系统的精华。

LLM 开发正在演变：我们正在使其成为本地优先

用于由LLM驱动的应用程序的本地开发正蓄势待发，这是有充分理由的。它在性能、成本和数据隐私等关键维度上具有多种优势。但是今天，本地设置非常复杂。

开发者通常被迫手动集成多个工具，配置环境以及将模型与容器工作流程分开管理。运行模型因平台而异，并且取决于可用的硬件。模型存储是分散的，因为没有标准的方法来存储、共享或提供模型。

结果是什么？云推理成本上升和脱节的开发者体验。通过我们的第一个版本，我们专注于减少摩擦，使本地模型执行更简单、更快且更容易融入开发者已经构建的方式。

Docker Model Runner：在本地安全运行 AI 模型的简单方法

Docker Model Runner 旨在使AI模型执行像运行容器一样简单。在此 Beta 版本中，我们为开发者提供了一种快速、低摩擦的方式来运行模型、对其进行测试以及在本地迭代使用模型的应用程序代码，而没有所有常见的设置麻烦。下面介绍如何操作：

在本地运行模型

借助 Docker Model Runner，在本地运行AI模型现在就像运行内部循环中的任何其他服务一样简单。 Docker Model Runner 通过在 Docker Desktop 中包含一个推理引擎来实现这一点，该引擎构建在 llama.cpp 之上，并且可以通过熟悉的 OpenAI API 访问。没有额外的工具，没有额外的设置，也没有断开的工作流程。一切都保留在一个地方，因此您可以直接在您的机器上快速进行测试和迭代。

启用 GPU 加速（Apple silicon）

Apple silicon 上的 GPU 加速可帮助开发者获得快速推理并充分利用其本地硬件。通过使用基于主机的执行，我们避免了在虚拟机内部运行模型的性能限制。这转化为更快的推理、更流畅的测试和更好的反馈循环。

使用 OCI Artifacts 标准化模型打包

当今的模型分发很混乱。模型通常作为松散的文件共享，或者隐藏在具有自定义身份验证的专有下载工具后面。借助 Docker Model Runner，我们将模型打包为 OCI Artifacts ，这是一种开放标准，允许您通过与已经用于容器的相同注册表和工作流程来分发和版本控制它们。如今，您可以轻松地从 Docker Hub 中提取即用型模型。很快，您还可以推送自己的模型、与任何容器注册表集成、将它们连接到您的 CI/CD 管道，并使用熟悉的工具进行访问控制和自动化。

借助蓬勃发展的 GenAI 生态系统建立势头

为了使本地开发无缝衔接，它需要一个生态系统。首先要满足开发者的需求，无论他们是在本地机器上测试模型性能，还是构建运行这些模型的应用程序。

这就是为什么我们推出 Docker Model Runner，它在AI应用程序开发过程的两端都拥有强大的合作伙伴生态系统。在模型方面，我们与 Google 等行业领导者和 HuggingFace 等社区平台合作，为您带来高质量、优化的模型，以便在本地使用。这些模型以 OCI artifacts 的形式发布，因此您可以像任何容器镜像一样，使用标准 Docker 命令来拉取和运行它们。

但是我们不会止步于模型。我们还与 Dagger、Continue、Spring AI 和 VMware Tanzu 等应用程序、语言和工具合作伙伴合作，以确保使用 Model Runner 构建的应用程序可以无缝集成到实际的开发者工作流程中。此外，我们还与 Qualcomm Technologies 等硬件合作伙伴合作，以确保在所有平台上实现高性能推理。

随着 Docker Model Runner 的发展，我们将努力扩大其合作伙伴生态系统，从而实现充足的分发和附加功能。

我们的未来方向

这仅仅是个开始。借助 Docker Model Runner，我们正在使开发者能够更轻松地将AI模型执行带入日常工作流程，安全地、在本地并且具有较低的准入门槛。很快，您将能够在更多平台上运行模型，包括具有 GPU 加速的 Windows，自定义和发布您自己的模型，并以更大的灵活性（包括 Compose 和 Testcontainers）将AI集成到您的开发循环中。随着每个 Docker Desktop 版本的发布，我们将继续解锁新的功能，从而使 GenAI 开发更容易、更快，并且构建起来更有趣。

立即试用！

Docker Model Runner 现在在 Docker Desktop 4.40 中作为 Beta 功能提供。要开始使用：

在装有 Apple silicon 的 Mac 上
更新到 Docker Desktop 4.40
拉取由我们的合作伙伴在 Docker 的 GenAI Hub 开发的模型，然后开始试验
有关更多信息，请查看我们的文档此处。

试用一下，让我们知道您的想法！

如何了解更多关于 Docker Model Runner 的信息？

立即查看我们提供的资源！

将您的 Mac 变成 AI 游乐场的 YouTube 教程 Docker Model Runner 快速入门指南 Docker 文档上的 Docker Model Runner 使用 Dagger 和 Docker Model Runner 创建本地 AI Agents

来 Google Cloud Next 与我们会面！

在曼德勒会议中心的 1530 号展位参加动手演示和独家内容。

AI/ML, DockerModelRunner, LLM, ModelRunner

发布时间

2025 年 4 月 9 日

文章标签

AI/ML DockerModelRunner LLM ModelRunner

分类

[在这里插入文章中其他链接和信息。]