跳到正文
fxguide· Mike Seymour·精选AI 评分58

Main Course Films 将 Apple Immersive 纪录片《Thé Fine Dining Bakery》转制为 4K 2.40:1 版本

Creating 4K from Apple Immersive (AIV)

AI 导读

Main Course Films 把 2025 年完成的 Apple Immersive Video 纪录片《Thé Fine Dining Bakery》转制为 4K Scope、2.40:1、7.1 环绕声的常规版本,称这是首部完整转制的 AIV 影片。

推荐理由

完整拆解一部 Apple Immersive Video 纪录片转制 4K 的流程,涵盖去畸变、色彩管理与空间音频降混的具体做法。

正文 · AI 翻译

选择拍摄格式时,首要问题之一就是确保素材能适配现代电影业使用的多种交付格式。对沉浸式制作来说尤其如此。直到不久前,要把以 Apple Immersive Video 等沉浸式格式拍摄的素材重新格式化,可选方案还极其有限。

在完成《Thé Fine Dining Bakery》一年多之后,Main Course Films(MCF)发布了他们所称的全球首部完整转换为常规非沉浸式观看版本的 Apple Immersive Video(AIV)影片。这部 AIV 纪录短片已被重新制作为更标准的 4K Scope 版本,画幅比 2.40:1,采用 7.1 环绕声。  原沉浸式版本于 2025 年中完成,目前仍可在 Fovii 和 Theatre 流媒体平台上供 Apple Vision Pro 观看。但现在这部影片也能在常规屏幕上欣赏了。这种额外触达更广泛观众的选项,让 AIV 等先进格式对制片人更具吸引力。

这对 Apple Immersive Video(AIV)格式而言是一个重要里程碑。此前,在 Apple Vision Pro 之外展示的 AIV 素材,大多只是头显屏幕录制画面(还带着观众的头部动作)、为 YouTube 做的 VR 转换,或是为营销用途单独剪辑的零散镜头。

我们去年报道过的 Apple TV 影片《Bono: Songs of Surrender》同时发行了沉浸式和非沉浸式版本,但采用了不同的做法。制作团队没有对已完成的沉浸式影片重新格式化,而是用沉浸式摄影机和ARRI ALEXA 65 同时拍摄选定段落。立体图形和动画绘图也单独添加到了沉浸式版本中。

在 URSA Cine Immersive 摄影机及 DaVinci Resolve Studio 中相关工具发布一年多后,沉浸式作品的常规 2D 版本仍然少见。这种稀缺恰恰说明,要把一个围绕观众自由环顾构建的体验,转化为由创作者掌控画面的体验,难度有多大。

在 fxguide,我们持续与 MCF 合作,探索这一格式在创意和技术上的可能性。相关工作包括关于 Proximity Perception Tests 和《The Dobos Connection》的报道,后者是全球首部用 URSA Cine Immersive 摄影机拍摄的叙事剧情片。

URSA Cine Immersive 摄影机

概念与创意挑战

编剧、导演兼剪辑 Clara Chong 谈到这一过程时说:“挑战更多在创意和概念层面,而非技术层面,尽管也有大量技术问题需要解决!  因为我们体验 AIV 的方式是生物层面的,所以在制作影片时我们必须考虑很多因素,还有一些因素在常规画幅格式中影响感知的方式与 AIV 不同,比如节奏。  过去一年我们一直在尝试做出一个降转版本,但直到现在,我们才在技术质量和概念方法两方面都对结果足够满意,准备好公开推出。”

Chong 的 MCF 联合创始人 Ben Allan ACS CSI 担任了《Thé Fine Dining Bakery》和《The Dobos Connection》的摄影指导,同时兼任调色师和混音师。Allan 需要把这三个专业领域的知识都用到下变换流程中。“在 Apple Immersive 里,”他解释道,“平移和俯仰由观众实时控制,所以画面构图要给他们自由,让他们想看哪里就看哪里,同时又要引导他们注意到重要的内容。转换成传统格式,就是要把这种平移和俯仰的引导转化为正式的取景决策。”

URSA Cine Immersive 的鱼眼镜头画面,未调色。
使用 Fusion 中 Immersive Patcher 做的 90º 无畸变裁切,未调色。

ProRes 预渲染

这部纪录片的原始版本是直接从 BRAW 摄影机原始文件渲染的。此后,很多变化让这样一种工作流变得可行:用原始 BRAW 文件套底剪辑后,可以渲染成 Stereoscopic 3D ProRes,同时应用降噪等处理,并保留摄影机中所有关键元数据。这包括 ILPD,它让 Vision Pro 能正确去畸变,还包括 Apple Immersive Motion Data。

这些 ProRes 预渲染是这次转换成功的关键环节之一。把它们重新连接到 AIV 重制版的母版时间线后,MCF 团队就可以用 Resolve 的动态项目切换功能,把这些文件复制到一个新项目中。

Allan 解释说:“虽然在 Apple Immersive 的 Resolve 项目里可以做出非沉浸式分辨率,但帧率不能低于 90 fps,而对我们来说,能做出一个在任何地方都能播放的标准格式很重要,所以 90 fps 被排除了。”

Fusion 中使用 Immersive Patcher 的节点树
Fusion 中 Immersive Patcher 节点的控制项
不完美镜头畸变技术的节点树

帧率与项目格式

新项目按 UHD 4K、30 fps 创建,原母版时间线上的所有片段被整体复制到新项目的一条时间线中。团队也考虑过 24 或 30 fps,但很早就排除了 60 fps。“我们希望它尽可能有电影感,而我们知道 60 fps 给不了这种感觉。AIV 的 90 fps 体验起来更像是平滑运动,而不是我们通常联想到的高帧率画面,但一旦低于这个帧率,到 60 就会出现传统的高帧率效果。虽然我们也想一路降到 24,但我们知道从 90 到 30 是 3:1 的比例变化,帧率转换会更干净,所以决定这是最好的方案,”Chong 说。

片段从 Apple Immersive 母版项目复制到 UHD 项目时,也带上了所有调色。这就要求新项目的色彩管理与 AIV 母版项目一致,而后者又必须与直接基于 BRAW 制作的 2025 版本一致。幸运的是,团队当初决定在 DaVinci Wide Gamut Intermediate 色彩空间里做这个项目,所以保持这一点很简单。DWG 对位深度的利用也比 ACES 之类更高效,后者更适合 16 位 EXR 文件,而不是对已经很大的 Apple Immersive 图像来说更实用的 ProRes 预渲染。

DaVinci Resolve Studio 中的调色
Fusion 界面显示原始画面与 60º 视角,未调色。

色彩管理与宽高比

2025 年 AIV 原始发布版和 2026 年为静态注视点渲染(Static Foveation)优化的重制版,均以 PQ HDR 1000 尼特母版制作,再按要求并兼顾 Vision Pro 观看舒适度,色调映射到 100 尼特。

不过,这个 4K 版本的目标是尽可能实现广泛兼容,因此团队决定改用 Rec.709(场景)输出色彩空间。Allan 指出:“我们认为这是使用 Resolve 色彩管理和 DWG 中间色彩空间的又一个好理由,因为它能消除这类改动的大部分复杂性,既不牺牲画质,也不会被锁死在像 ACES 那样数据量庞大得多的方案里。沉浸式视频本身已经需要超大文件,这点数据量差异简直是天壤之别。”

进入制作时的意图是以 16×9 宽高比工作,同样是为了最大化兼容性,但 Chong 和 Allan 很快意识到,在 2.40:1 宽银幕画幅内处理沉浸式镜头能获得更具视觉吸引力的构图。为了保持 16×9 的标准输出格式,他们在时间线层面以加黑边(letterbox)的方式实现。

Chong 解释道:“这听起来有点反直觉,因为 180º 圆形图像感觉更容易适配更接近方形的画幅,但我们一试宽银幕,一切突然就对了。”Allan 补充说:“我认为这是因为我们看左右比看上下更多,所以那些在完整沉浸式画面中构图成立的东西,放进 2.40:1 宽银幕画幅里更合适。”

熏炉里的鱼,用来做咸味法棍

去畸变流程

制作无畸变的平面图像需要在 DaVinci Resolve Studio 的 Fusion VFX 页面完成,MCF 团队最终针对不同镜头采用了两种不同方法:一种是技术上正确的流程,另一种是加入一些光学瑕疵、更贴合极端镜头的变体。

两种技术都可以直接在主时间线上完成,切换到 Fusion 页面,并在剪辑和调色页面的调整之下处理。虽然这大多非常有效,但也有几点需要注意。

Allan 解释道:“Resolve 一直最擅长格式切换,所以如果你把项目从比如 HD 改成 4K,你的字幕、Power Window、稳定效果都完全照常工作。但当你从鱼眼镜头空间对沉浸式图像去畸变时,实际上没办法让所有这些都自动带过去,所以所有这些都需要针对不同的几何空间重新检查和调整,而不只是分辨率变了。”

技术方案使用 Fusion 的 Immersive Patcher 工具。为了保留未来制作 3D 4K 版本的可能,同时又能在一个节点上进行调整,他们在 Stereo Combiner 节点之后添加了 Immersive Patcher。Stereo Combiner 用于把左右眼视频流合并成单一流,供节点树其余部分处理,双眼作为图层处理。

Immersive Patcher 是一个简单但强大的工具,既能把平面图像扭曲成沉浸式鱼眼画面,也能把沉浸式图像还原成平面格式。它提供 X、Y、Z 三个轴的旋转控制,在相机术语中分别对应俯仰、平移和滚转。它还带有一个视角控制,用来决定 180º 沉浸式画面中有多少被映射到平面画幅里。

Fusion 页面在片段层级上工作,因此那里的还原图像保持源分辨率,并采用相机原生的 1.13:1 画幅比。这样做的好处是,在 Edit 或 Color 页面里还有余地对构图做精细调整,尤其是在俯仰轴上。在这部纪录片中,大多数镜头都保持在 65º 到 110º 的视角范围内,只有少数极端镜头会超出这个范围,偏向一端或另一端。

第二种做法在技术上没那么严谨:先用一个 Transform 节点,再接一到三个 Lens Distortion 节点。这样团队能做出看起来正常的画面,同时因为不同节点之间的相互作用,会留下一些细微的几何瑕疵,带来一丝微妙的真实感,恰好契合光学玻璃在现实中的效果,尤其是极端镜头下的表现。Allan 说:“Cine Immersive 相机拍出的画面当然也是经过真实玻璃镜头的,但精密的 ILPD 投影映射会把这些瑕疵完全消除,让画面在 Vision Pro 里沉浸观看时完美无缺。我们发现,偶尔带一点自然的瑕疵,观感反而更好。”

从沉浸式画面中截取的 4K 帧:为展示做准备

为镜头“取景”

在 Fusion 中对每个镜头应用上述两种方法之一后,下一步就是逐个镜头重新构图,找到合适的取景。

在 The Dobos Connection 上,团队共同决定不为沉浸式相机做不到的事情(比如微距拍摄)走捷径、改用传统相机去拍。理由是要在新格式内部解决问题,而不是退回到标准方案。MCF 决定把同样的思路用在 Thé Fine Dining Bakery 的格式转换上。

重新剪辑一版适合传统格式的影片固然诱人,但许多客户、发行方和电视网真正需要的,是把 AIV 影片重新格式化后在普通屏幕上播放的版本,而不是另一个剪辑版本。

MCF 决定不去试图把它做成一部用传统相机拍出来的电影,而是把它当作一部 AIV 影片,为普通显示器仔细重新格式化。

这样自我约束的结果是,他们不改动片段层级之外的任何东西。也就是说,在片段内部加一个剪切点可以,但改变整体节奏或增加不同角度则不行。

结果证明,完全为 Apple Vision Pro 中 AIV 播放而创作的影片,确实可以重新格式化后在普通 2D 屏幕上播放。

用相当于平移、俯仰和变焦的操作,从 180º 画面中挑出每个镜头,做出来的东西既看得下去,又能认出是同一部影片。但由于观众完全沉浸于场景时所需的节奏,这个版本在正常播放时显得偏慢。

Chong 决定,解决方案是把部分镜头从同一源素材拆分成多个不同的景别。在 Vision Pro 中作为一个单一视角非常成立的效果,拆成两个甚至更多镜头、在同一张原始沉浸式画面上的广角与特写之间切换,反而能发挥得更好。

这虽然让流程更耗时,需要把每个镜头的各个版本相互权衡,但结果有了显著提升,实际上让体验更接近原作的感知体验。

对某些镜头来说,这意味着要比原本拍得更广或更近,才能让镜头之间的差异足够大,使剪辑点切换得流畅。

除了这些因素,Chong 和 Allan 发现传统电影制作的构图规则完全照常适用。视线空间、头部空间和三分法等技巧都发挥着它们平常的作用。

Fairlight 混音器界面,显示子混音、立体声和 7.1 主控总线

把声音从空间音频转向环绕声

就像 Resolve 擅长在不同输出格式之间切换一样,Resolve 中的 Fairlight 非常擅长在不同音频格式之间做高质量转换。

Allan 指出:“让我惊讶的是,一旦把 5.1 或 7.1 混音路由到立体声总线,通常需要做的处理少得惊人。转换效果比我根据以往经验预期的要好得多,而且几乎在所有情况下平衡得都很好。”

从 Apple 空间音频(ASAF)格式转换则是一个完全不同的挑战。不是因为软件处理得不对,而是因为这种格式的概念目标与任何传统的基于声道的格式都截然不同。

ASAF 的设计是与沉浸式视频画面精确匹配,因此声音不是像几乎所有其他格式那样送入一组扬声器,而是可以用多种不同方式处理,包括作为自由定位在三维空间中的对象、通过 ambisonics 总线路由的声音,以及跟随听者头部运动的头锁定对象。

这一切使得把一个好的 ASAF 混音简单转换成传统格式变得不可能,无论是单声道、立体声,还是任何环绕声格式,包括 Dolby Atmos。

显而易见的解决方案似乎是先转换成 Atmos,再从那里下变换到所需的所有其他格式,因为 Atmos 母版处理这个过程的效果非常好。

第一个问题是 ASAF 主控总线无法路由到任何其他类型的总线。即使可以,直接把轨道路由到总线也不是可行的方案。Allan 在一年多前混音 Thé Fine Dining 烘焙店项目时很早就发现了这一点:“我以为可以简单地把所有进入 ASAF 主控总线的轨道路由到传统子混音,再送入环绕声或立体声总线输出。但我们了解到,ASAF 对象经过对象距离调整后所发生的处理会对响度、EQ 和混响产生显著影响。所以基本上,当声音不经过 ASAF 主控总线时,我们混音工作中 80% 的东西都完全不同了。正因如此,直接发送到传统总线的 ASAF 混音不仅听起来不同,而且几乎无法辨认、无法使用。”

最理想的做法是直接针对目标下混格式重新制作整个混音,但这不同于从环绕声做立体声下混时那种传统微调,而是几乎全新的混音:每条 ASAF 对象轨道(包括所有对白、拟音、点音效等)的电平、EQ 和混响都要大幅改动,音乐和背景轨也会随之受到影响。

因此,MCF 团队在把 ASAF 混音高效下混成传统声音格式时,识别出两个挑战。第一,所有声音都需要经过 ASAF 主总线,才能有一个平衡的起点,而这无法直接实现。第二,他们需要改变混音结构,以适配任何基于扬声器阵列、而非三维空间中无限点位的格式。这一点也与空间混音有关——空间混音依附于沉浸式画面,而不是被画框边缘框住的画面。

在设法解决这两个挑战时,Allan 从自己早年做模拟广播和电视演播室工作的经历中找到了灵感。“我常常发现,当某个数字时代的难题特别让人困惑时,我就会回头问自己……在模拟世界里我会怎么解决这个问题。当然,模拟世界里不可能有 ASAF!但这个思考过程还是把我引向了一个实用的解决方案。”

Allan 意识到,Fairlight 已经在做非常有效的监听转换,可以转换到所需的任何监听格式。从立体声到 9.1.6,Fairlight 页面都支持 ASAF 监听。

Allan 回忆当时的想法:“以前人们用多轨模拟磁带做手动混音的 M&E 轨这类东西时是怎么做的?嗯,他们回放多轨源素材,把调音台的主输出跳线到其他轨道的输入,然后录到那些轨道上。”

他得以重现类似流程,从 ASAF 混音中制作分轨,作为新环绕版本的基础。借助 Rogue Amoeba 的 Loopback 应用,他们为立体声和 7.1 创建了虚拟输出,并在 ASAF 主总线上把这些输出选为监听目标。然后使用 Fairlight 的 Patch In/Out 工具,就能轻松把这些虚拟输出跳线到新轨道的输入,就像在模拟录音棚的跳线盘上操作一样。用 VCA 静音掉馈送到 ASAF 总线的其他所有轨道后,就可以把对白、音乐、拟音、效果和背景环境声分别录到独立轨道上,再导出,作为传统混音版本的基础。

Chong 进一步解释:“显而易见的选择是尽可能用最高复杂度来做,也就是 9.1.6 Dolby Atmos,但我们在测试中意识到,这其实并不是我们需要的。”Allan 补充说:“因为环绕格式的常规做法是,场景中的许多声音来自中置声道,所以我们需要把这些声音变成一种能轻松路由到中置声道、用于环绕混音的形式。”

把对白、音乐、拟音和效果导出为立体声分轨后,就可以在下混版本中按需把它们声像定位到中置、左/右或环绕声道。房间底噪和环境声轨按 Ambisonics 360º 制作,因此导出为 7.1,以保留空间感。

这为 7.1 混音提供了非常有效的基础,之后只做了基本调整便完成了精修。团队为画面选定 Rec.709 的理由与此类似:选择 7.1 是出于简单和广泛兼容的考虑,同时仍为丰富的环绕声转换留出了空间。

来自 Immersive 的 4K 截帧:The Hearthé 烘焙店的本地食材花园

成果

虽然过程比预期更繁琐,但最终完成的纪录片版本证明,从 AIV 进行格式转换是可行的——既在美学和叙事上有效,在技术质量上也站得住脚。

Chong 表示:“一旦概念上的问题理清,我们对整个流程在画面和声音上的效果都非常满意。”Allan 补充道:“看过这部电影完整 Immersive 版本的人,再看重新格式化的版本,应该会觉得还是同一部电影,只是调整到能在普通屏幕上正确呈现。它无法再现沉浸式体验,但对于没有 Vision Pro 的人来说,这意味着他们第一次有机会看到这部电影。”

对于考虑采用 AIV 的项目来说,整部电影能够成功转换为标准格式,这打开了许多可能性,也让 Apple Immersive Video 和 URSA Cinema Immersive 对更广泛类型的制作更具可行性。

来源:fxguide · fxguide.com