跳到正文
Pixotope Blog· Matthew Houstle·精选AI 评分62

两届超级碗直播教会我的容错系统搭建经验

What Two Super Bowls Taught Me About Building Systems That Can’t Fail

AI 导读

Pixotope 广播解决方案架构师 Matthew Houstle 复盘他在 Silver Spoon 参与 2023 年超级碗 LVII 和 2024 年超级碗 LVIII 的 AR 直播技术经验。

推荐理由

作者以两届超级碗直播的一手经历,复盘多套备份、统一基础设施与散热管理如何支撑四场并行播出。

正文 · AI 翻译

一步走错,或者一台服务器过热,数百万观众看到的就会是卡死的画面,而不是我努力维持完美的增强现实图形。

压力不大,对吧?

2023 年和 2024 年,我在美国年度最大的体育转播——超级碗上,负责 Silver Spoon Animation 的技术工作。

数百万人关注着比赛、中场秀,甚至只是广告。而我的重点是让 AR 图形保持完美无瑕。

Pixotope used for AR graphics during Super Bowl

这是我职业生涯中压力最大的时刻。我入行时做的是戏剧,十多年里为百老汇内外的演出编写和设计视频与投影系统。转到这个新岗位后,我把从“让系统夜复一夜稳定服务现场观众”中学到的很多东西带了过来,但这里的风险更高。我们只有一次机会把它做对,而且是数百万人在看,而不是剧场里一位失望的观众。没有第二次机会,充满不可预测的状况,而且在转播的很多环节里,我们的优先级排在别人后面。

超级碗比赛难以预测,我们可以想排练多少次就排练多少次,但无法预知比赛结果,也无法预知一些现场后勤状况。

你不知道网线什么时候会坏,也不知道空调系统什么时候会罢工——这在拉斯维加斯还挺管用——所以必须有预案和系统来应对。

你大概能猜到,压力巨大,意外接连不断,风险很高。

这让我更加坚定了构建“不能失败”的系统的想法。

Super Bowl logo from up close

第五十七届超级碗:菲尼克斯,2023 年

概念验证

我在 2022 年底加入 Silver Spoon,一头扎进转播行业。当时经验不到一年,我就已经和 Fox Sports 合作我的第一届超级碗,而且正如 Fox 一贯的风格,我们在挑战现有技术的极限。

Fox 想用开场镜头证明一件事:在 Skycam 上也能做出稳定的 AR 图形。Skycam 是那种用钢索吊挂的摄像机系统,能让你从鸟瞰视角看场上动作。

传统方法有显著局限,常常导致 AR 图形在屏幕上漂移。

Broadcasting studio during Super Bowl

我们测试了 RaceLogic 的一套全新追踪方案 AirPixel,它通过射频信标在体育场任意位置精确定位摄像机。这套方案绕开了线缆拉伸、摄像机摆动等常见问题。我们在多个体育场做了大量概念验证测试。最初的测试用的是原生 Unreal 及其 Composure 插件,因为该追踪协议是全新的,需要专门的插件支持。我们清楚这在转播中并不稳定(当时还处于 Alpha 阶段),所以我转向了 Pixotope,因为我信任他们的播出可靠性,也知道他们能很快为我们集成这套协议。

我们的大型彩排是费城的冠军赛,距离大赛只有短短几周,可惜追踪没能正常工作。原因是最后一刻决定切换射频频率,以避开与 NFL 的复杂协调。这意味着我们要在毫无验证的情况下直接进入超级碗,必须准备应急预案。

Super Bowl AR graphics in real-time

幸运的是,我们带着多套备用方案来到凤凰城。我们带了一套 Pixotope Fly 系统,已调试好随时可以替换上场。我们还做了多段预录内容,必要时可以送去播出。
正因为有这些备份,我们才能承接额外的任务,接下体育场外部的 Cable Cam 镜头,用 Fly 做追踪、用 Pixotope 做图形。两者不会同时直播,大家也都放心用这套备用方案来做赛前节目中的比赛内图形。

大赛当天,一切按计划进行,没有启用任何应急预案。那场大赛的开场图形堪称史诗级,Pixotope 是让一切顺利无差错的关键一环。回头看,这场比赛只是对正确平台、规划和设计所能实现效果的一次小测试。

超级碗 LVIII:拉斯维加斯,2024

全面升级

接着就是拉斯维加斯。

CBS 和 Nickelodeon:同一场比赛,两种完全不同的转播现实。内容元素众多,风格却截然不同。一个是传统体育转播,另一个是海底卡通风格。

作为 Silver Spoon 的技术总监,我再次琢磨如何把这一切变成现实。

在主转播方面,CBS Sports 希望在他们演播室的节目以及受拉斯维加斯启发的比赛内图形中,于标志性的贝拉吉奥喷泉上方呈现 AR 元素。

Super Bowl graphics above Bellagio fountain in Las Vegas

图片来源:CBS Sports 

Nickelodeon 希望在海绵宝宝的“帮助”下,把整场比赛变成比奇堡的水下奇观。

海绵宝宝版转播自成一个宇宙。忠实体育场 的天花板被增强现实替换为布景延伸,把整场比赛置于海底。实时动作捕捉让派大星和海绵宝宝的配音演员为角色制作动画,并与现实中的 Nate 和 Noah 一起实时解说比赛,全部合成到通过增强现实置于体育场内的虚拟演播室中。

Augmented reality graphics during Super Bowl match

比赛期间,达阵区的触地得分会触发史莱姆炮,Nickelodeon 飞艇用手柄在体育场上空飞行,Nickelodeon 角色加入场上球员,还有更多内容——全部以 AR 形式实时呈现。最精彩的是,还有一版预先渲染的《Sweet Victory》以忠实体育场为背景,迅速走红。

在三个小时的直播报道中,同步转播把超级碗赛事搬到了海绵宝宝所在的比奇堡世界。这是一个持续叠加在体育直播之上的平行现实。这证明,你可以在不损害比赛完整性的前提下创造全新的观看体验,并为广告销售和赞助带来新的收入来源。

为了让这一切运转起来,我们运行了 36 台Pixotope 服务器,现场有 32 人团队,跟踪三档节目中的 15 台摄像机。Stage Precision(SP)是骨干。它统一了我们的系统,让我们能够整合服务器、管理摄像机跟踪、快速校准关键镜头,并在出现问题时立即切换。SP 的实时诊断和基于对象的数据流让我们对所有节目了如指掌,操作员可以在问题变大之前做出反应。

Pixotope 处理多路数据流,从同一份跟踪数据中创造出两种不同的观看体验。我们使用相同的摄像机和相同的场地,但呈现了完全不同的现实。

Pixotope software was used for real-time AR graphics at Super Bowl

用数字讲述的故事:

  • 共 45 台服务器(26 个图形渲染引擎)
  • 数英里长的光纤
  • 15 台跟踪摄像机
  • 5 套不同的跟踪系统
  • 多种工作流程,包括动作捕捉、AR 和虚拟布景
  • 4 个不同地点,全部共用同一套中央服务器架构

所有环节同时运行,而且都必须万无一失。从后勤角度看,这非常棘手。

如何搭建一套系统来支撑四场节目,又不必把所有东西都复制一遍?如何在保留备份的同时把成本控制在合理范围?

系统和工作流程必须既稳定又灵活。系统的复杂性要对操作人员透明,因为他们自己已经有一堆难题要操心。我们准备了层层备份方案,而且实际启用了不少。很多问题超出了我们的控制范围,但我们仍然必须应对。最终来看,在同样的限制条件下,我几乎不会做出不同的选择,这说明规划才是关键。

我们如何用一套基础设施支撑四场节目(还让服务器保持凉爽)

我们搭建了一套混合系统,既能跨节目共享资源,又能让每场制作保持独立。SP 让单台服务器为多路播出提供备份,减少不必要的备份,帮助团队跨地点顺畅协作。

最难的部分是让四个地点的操作人员和工程师协同工作,而且全都依赖同一套配置。我们依赖的是复杂的网络设置和数英里长的光纤,而这些都不在我们掌控之中。一旦出问题,所有人都能感受到。顺利的时候,是因为每个人都出了一份力。

我们应对的最大故障是空调。四十五台服务器很快就会产生大量热量。如果空调跟不上,服务器就会过热关机。在直播中,这就是灾难,尤其是在拉斯维加斯。散热变得和技术本身同样重要。

Super Bowl production behind the scenes

图片来源:Silver Spoon。 

Silver Spoon 在超级碗 LVIII 整场直播中制作了由游戏操控的场上角色沙地和实时 AR 内容。

系统可能出故障,所以你必须做好准备。我们在彩排中测试过的每一套备份系统,都在直播期间派上了用场。不是因为主系统出了故障,而是因为直播总会带来你无法完全预料的意外。

团队合作比个人英雄主义更重要。节目之所以能成功,是因为操作人员、工程师、创意团队和技术供应商作为一个整体协同工作。没有哪一个人能独自做到。

工作流程比功能更重要。最好的技术,是人们在压力之下真正用得起来的技术。如果操作人员在凌晨 2 点彩排时都无法可靠地使用它,那么直播时也不可能可靠地使用。

规模会改变一切。在演播室里行得通的做法,放到体育场里未必行得通。支撑一场演出没问题,但同时支撑四场,事情就复杂得多。

2025 年初,我加入 Pixotope,担任广播解决方案架构师。

现在,我把一线积累的经验分享给面临广播难题的客户,帮他们在不踩坑的前提下实现自己的构想。

那两届超级碗让我看到了这项技术在极限压力下能发挥到什么程度:哪里表现出色,哪里还需改进,以及广播的未来走向。

超级碗的制作压力大、很累人,但也令人兴奋。不过,那毕竟只是两场转播。 现在的挑战是帮日常制作也获得同样的创作自由和技术可靠性,既不需要超级碗级别的预算,又能像百老汇那样日复一日(或夜复一夜)地稳定运转。

它同样充满挑战,同样有成就感,而且大概对我的血压友好得多。

如果你正在搭建虚拟制作系统,想找有实战经验的人聊聊,欢迎预约我的免费咨询。 

<p>Book a free call with me</p>

来源:Pixotope Blog · pixotope.com