如何免费愉快地写代码：在你的 Mac 上使用 MLX 运行 Qwen3

How to vibe code for free: Running Qwen3 on your Mac, using MLX

Source | HN Comments

文章介绍了如何在 Mac 上使用 MLX 库运行 Qwen3 模型，并结合 Localforge 实现代码生成。首先，通过 `pip install mlx` 和 `pip install mlx-lm` 安装必要的库。然后，使用 `mlx_lm.server` 命令启动模型服务器。接着，在 Localforge 中配置 OpenAI 类型的提供程序，指向本地运行的 Qwen3 模型。最后，创建一个自定义 agent，将 Qwen3 模型设置为 Main，Ollama 的 gemma3 模型设置为 Auxiliary，即可在 Localforge 中使用 Qwen3 进行代码生成，实现免费的自主代码编写。

在你的 Macbook 上使用 MLX 运行 Qwen3，免费愉快地写代码

(或者如何免费愉快地 Vibe code!) 发布时间：2025年5月1日

今天我想测试在我的 Mac 上本地运行最新的 Qwen3 模型，并将其放入使用 Localforge 的自主循环中。 (或者如何免费愉快地 Vibe code!)

事实证明，Qwen3 是一个功能相当强大的模型，可在 ollama 上获得： https://ollama.com/library/qwen3

也可以在 mlx community 上找到：https://huggingface.co/collections/mlx-community/qwen3-680ff3bcb446bdba2c45c7c4

随意根据你的 Mac 硬件选择一个模型，让我们开始吧。

以下是我采取的步骤：

步骤 1：安装核心 MLX 库

pip install mlx

步骤 2：安装 LLM 助手库

pip install mlx-lm

步骤 3：运行模型服务器

mlx_lm.server --model mlx-community/Qwen3-30B-A3B-8bit --trust-remote-code --port 8082

此命令将下载并提供模型服务（将端口更改为你想要的任何端口，并准备好下载数十 GB 的内容）。

MLX Qwen3 模型下载和服务器启动截图

下载完成后，你应该会看到类似以下内容：

2025-05-01 13:56:26,964 - INFO - Starting httpd at 127.0.0.1 on port 8082...

这意味着你的模型已准备好接收请求。现在可以在 Localforge 中配置它了！

配置 Localforge

在 https://localforge.dev 获取你最新的 Localforge 副本（可以使用 npm 安装到任何平台，或者如果你需要，也有适用于 OSX 和 Windows 的 DMG 和 ZIP 文件）。

运行后，打开设置并进行如下设置：

1) 在提供程序列表中添加提供程序

我添加了两个提供程序：一个是用于较弱模型的 ollama，另一个是用于 mlx qwen3。

a) Ollama 提供程序设置：

选择名称：LocalOllama
从提供程序类型中选择 ollama
无需设置
重要前提条件： 你需要在你的机器上安装 ollama，并提供某种模型服务，最好是 gemma3:latest。
安装说明请参见此处：https://ollama.com/library/gemma3
这个模型用于简单的助动词和辅助互动，例如让 agent 弄清楚发生了什么，但不是用于重要的任务。

b) Qwen 提供程序设置：

选择任何提供程序名称，例如 qwen3:mlx:30b
选择 openai 作为提供程序类型，因为我们将使用 openai api v1。
对于 API 密钥，输入类似 "not-needed" 的内容。
对于 API url，输入：http://127.0.0.1:8082/v1/ (注意你在上一步中使用的端口)。

2) 创建一个自定义 agent

在你创建提供程序后，创建一个自定义 agent！转到设置中的 agent 选项卡，然后单击 +添加 Agent，输入一些名称，例如 qwen3-agent。

然后单击铅笔图标来编辑你的 agent。这将打开一个很大的窗口，你只需要关心顶部的 Main 和 Auxiliary 卡片（忽略 Expert 卡片，它可以是任何内容或为空）。

对于 Main，放入你的 qwen 提供程序，并作为模型名称输入：mlx-community/Qwen3-30B-A3B-8bit（或者你从 mlx community 下载的任何模型）。
对于 Auxiliary，选择你的 LocalOllama 提供程序，对于模型，输入 gemma3:latest。

你可以暂时保留 agent prompt 不变，尽管为 qwen 简化它可能更有意义。在工具部分，你可以取消选择浏览器工具以使其更简单，但这并非必需。

Localforge 设置屏幕显示 Qwen3 配置

使用你的新 Agent

完成此操作后，按 command+s，关闭 agent 编辑器，然后关闭设置。

你应该会出现在主聊天窗口中，在窗口最上方有一个选择框，显示“选择 agent”。选择你的新 agent (qwen3-agent)。

你的 agent 已准备好使用工具！

我输入了一些简单的内容，例如：

"use LS tool to show me files in this folder"

它成功了！

Localforge with Qwen3 agent successfully using tools

Qwen3 成功地通过 Localforge 运行 LS 工具

这是由 Qwen3 创建的网站：

Website created by Qwen3 through Localforge

由 Qwen3 使用 Localforge 创建的网站

它甚至制作了一个可以自己玩的游戏！

Self-playing snake game created by Qwen3

Qwen3 创建的自动玩蛇游戏

结论

这可能需要更多的实验，例如简化系统 prompt，或调整 mlx 设置和模型选择，但我认为这绝对有可能使用它在你的 MAC 上获得一些自主的代码生成，完全免费！

祝你愉快地折腾！