Sphere 即将上映的《绿野仙踪》体验背后的 AI 魔法

[中文正文内容]

如何在拉斯维加斯，借助 Google DeepMind 和 Google Cloud，将影院经典之作以超乎想象的方式呈现。

M Matt A.V. Chaban Keyword 贡献者

《绿野仙踪》可能不是第一部彩色电影，但很多人都记得它是彩色电影，因为导演 Victor Fleming 巧妙地使用了黑白电影来拍摄堪萨斯州的场景。

同样，《绿野仙踪》可能不是第一部用 AI 重新构思的电影，但它可能很快也会因此而闻名。

几个月来，Google DeepMind、Google Cloud、Sphere Studios、Magnopus、Warner Bros. Discovery 以及电影和科技行业的数千名研究人员、程序员、视觉特效艺术家、档案管理员和制片人一直在努力将这部 1939 年的经典之作以非常大的规模搬上非常大的银幕。

8 月 28 日，他们的作品将在 Sphere 首映。Sphere 是位于拉斯维加斯的巨型场馆，自 2023 年 9 月开放以来，一直在开创新型娱乐形式。现在，生成式 AI 将与 Dorothy、Toto 和比任何电影院都能容纳的更多 Munchkin 一起成为舞台中心。

一部曾经突破电影界限的作品再次这样做是很合适的。“The Wizard of Oz at Sphere” 是一个同样具有史诗意义的创意和技术项目，故事将包围场馆 17,600 个座位的球形空间，创造一种沉浸式感官体验。

即使在几年前，这样的项目对于传统的 CGI 来说几乎是不可能的。只有通过生成式 AI 媒体模型的最新进展才有可能实现，特别是 Imagen 和 Veo，以及 Gemini 也发挥了重要作用。团队不仅需要创造一种全方位的体验，而且他们还必须仅使用原始材料来实现。在丰富 Sphere 的经典作品时，没有添加新的对话，也没有唱新的音乐。

获得奥斯卡和艾美奖提名的制片人 Jane Rosenthal 说：“我们讨论过以不同的方式来做这件事，”她是 “The Wizard of Oz at Sphere” 的制片人。“我们意识到我们真的需要用 AI 来做。”

奇妙的魔法师

并不是说团队可以简单地输入一些 AI 提示，点击他们的集体脚跟，然后宣布完成。Google Cloud 娱乐行业解决方案全球负责人 Buzz Hays 在好莱坞工作了 37 年，同时也是一位制片人，他指出，这不仅仅是使用 AI 来扩展旧电影以适应新格式。

Hays 说：“我们从 35 毫米胶片上的原始四乘三图像开始——实际上是三个单独的、颗粒状的胶片底片；他们就是这样拍摄 Technicolor 的。”“很明显，这不适用于 160,000 平方英尺的屏幕。因此，我们与 Sphere Studios、Magnopus 和世界各地的视觉效果艺术家合作，并结合我们的 AI 模型，有效地将原始角色和环境带到全新的画布上——创造一种沉浸式娱乐体验，同时在各个方面都尊重原作。”

当该项目刚开始时，团队中的许多人，包括 Google 内部的人，公开质疑 AI 技术是否已经能够完成这项工作或实现团队的集体愿景。但由于传统的 CGI 无法解决问题，至少在没有大量费用和多年辛勤工作的情况下无法解决——并且因为每个人都渴望开辟新领域——他们开始工作了。

该项目的 Google DeepMind 研究员 Steven Hickson 博士说：“这些模型非常具有创新性。”“我们会发现一些我们无法做到的事情，我们认为这是不可能的，然后一个月后我们就会想，实际上，也许我们可以做到。”

你可以理解为什么这似乎是不可能的。

放大原始的颗粒状图像以适应 Sphere 的 16K LED 屏幕——世界上分辨率最高的屏幕——是第一个挑战，但远非唯一的挑战。团队还必须考虑传统电影中的所有镜头切换，这些切换会将角色从某些场景中移除，这在设想的新的戏剧规模下是行不通的。传统的 CGI 也许可以处理缩放问题，但几乎没有办法有效地填充场景的其余部分。

以 Cowardly Lion 第一次猛扑 在他即将成为同伴的场景为例。镜头在稻草人和锡人之间来回移动，并切换到 Dorothy 躲在远处的一棵树后面。Sphere 的体验要求将所有这些元素以超逼真的细节保持在一起。

为了实现这一目标，团队必须克服三个主要的技术难题。

微调的魔力

Google 团队及其合作伙伴使用专门为该任务调整的 Veo、Imagen 和 Gemini 版本，开发了一种基于 AI 的“超分辨率”工具，将 1939 年的微小胶片帧转化为超超高清图像，这些图像将在 Sphere 内部弹出。然后，团队执行 AI 扩展，以扩大场景的范围，既可以填充空间，又可以填补由镜头切换和取景限制造成的空白。最后，通过性能生成，他们将那些著名表演的合成物融入到扩展的环境中。

这些技术共同帮助实现了传统 CGI 难以匹敌的自然手势、舞台效果和精细细节。

Google DeepMind 的首席研究科学家兼亚特兰大实验室主任 Irfan Essa 博士说：“当请求发送给我们时，我几乎要跳起来了。”“这是展示我们使用 AI 开发的魔法的最佳机会。”

然而，尽管使用了所有强大的新技术，但最大的突破之一来自于遵循电影的传统：拥有大量额外的材料可供使用。除了旧的素材外，团队还搜遍了档案馆，收集了大量的补充材料，例如拍摄剧本、制作插图、照片、场景计划和乐谱。

通过一种称为微调的过程，这些材料被上传到 Veo 和 Gemini，以便模型可以训练原始角色的特定细节、他们的环境，甚至是制作元素，例如特定场景的相机焦距。

由于拥有比 102 分钟电影更多的原始素材可供使用，输出的质量得到了显着提高。现在，Dorothy 的雀斑清晰可见，Toto 可以在更多场景中更顺畅地奔跑。Hays 指出，每一次更改都是与 Warner Bros. 密切合作进行的，以确保与原始精神的连续性。

沿着黄色积木代码前进

随着团队继续他们与这个真正超大型项目的旅程，许多人仍然对他们所取得的一切感到敬畏，并对未来充满期待。

Sphere Entertainment 的执行董事长兼首席执行官 Jim Dolan 说：“当你有这样的创新时，你并不总是知道它会走向何方。”“你必须能够采取信仰的飞跃。你将在 ‘The Wizard of Oz at Sphere’ 中看到的是一个明显的信仰飞跃。”