🎮ByteCraft：通过字节生成视频游戏和动画

2025年3月15日 || 论文 (Paper) | 模型 (Model) | 代码 (Code) || ByteCraft生成文件的截图 内容：ByteCraft, 示例 (Examples), 未来 (The future)

ByteCraft

想象一下，你可以写一段提示语，描述你想要的视频游戏或动画，然后就能得到一个功能完备的可执行文件。我们通过训练一个模型来生成视频游戏和动画的字节，从而初步尝试实现这个疯狂的目标！

一个15Kb游戏的前128个字节

我们的模型 🎮ByteCraft，是通过在4块GPU上，用32K生成上下文长度，对一个7B参数的LLM (Qwen2.5) 进行微调4个月，来生成视频游戏和动画的字节，并以所需文件的文本描述作为条件。然后，可以将该文件保存并在您的计算机上读取！

在字节世界中工作极具挑战性，因为一个错误的字节可能会破坏文件的整体功能。尽管如此，ByteCraft 仍然可以生成一些半功能性和完全正常的文件。该模型并不完美，但它能够生成各种可读文件这一事实表明，该模型对字节有一定的理解。

一个32Kb的文件在字节级别上代表 32K 个 tokens。为了缓解这个问题，我们使用 Byte-Pair-Encoding (BPE) 将字节编码成 tokens，平均包含 2.29 个字节，最多包含 4-5 个字节，这使我们能够生成高达 140Kb 的文件，但 tokens 数量维持在 32K 。

ByteCraft 生成的文件示例

每个部分有两个例子，点击它们就可以启动文件。

注意：如果您的浏览器没有正确显示 SWF，我包含了直接链接。要通过直接链接查看 SWF，请安装 Ruffle 的 Firefox/Chrome 浏览器扩展程序，以便直接在您的浏览器中查看它们，或者将它们下载到您的计算机上并使用 Ruffle 应用程序打开它们。

移动的棋盘格图案 (直接链接: 1, 2)

工作的记忆 (Working memorizations) (直接链接: 1, 2)

奇怪的损坏动画 (Weird broken animations) (直接链接: 1, 2)

无限加载 (Infinite loading) (直接链接: 1, 2)

角色 (Characters) (直接链接: 1, 2)

声音 (Sounds)

(点击这里)

其他 (Others) (直接链接: 1, 2)

未来 (The future)

ByteCraft 与自回归分子生成之间存在相似之处。分子可以表示为 SMILES 字符串，并且它们的上下文长度通常很小（没有 BPE 时为 10-250 个 tokens）。我们在下面展示了分子生成随时间推移在 Zinc-250K 数据集上的一些进展：

• (2016) GVAE: 0.7% 有效分子 (<- ByteCraft 在这里)
• (2017) CVAE: 7.2% 有效分子
• (2018) RVAE: 34.9% 有效分子
• (2021) GFVAE, STGG, 以及许多其他模型: 100% 有效分子，但并非总是可以合成
• (2025) STGG+AL: 100% 有效分子，具有高合成性和强大的分布外属性 (<- 未来的 ByteCraftv3 在这里)

ByteCraft 相当于 2016 年分子生成的 GVAE，但在生成 32K 上下文长度的游戏和动画这个更难的问题上。 考虑到人工智能最近的指数级发展，我们期望能够迅速朝着以高上下文长度生成 100% 有效的新文件的目标迈进。

请记住，这是在极其有限的硬件（4 个 GPU 运行 4 个月）上训练的。 我们的方法可以通过计算进行扩展。 远未达到上限； 我们正处于新范例的最初阶段。

我们希望这个疯狂的项目能够激励研究人员和爱好者朝着通过字节生成游戏的崇高目标前进。