arXiv · virtual production· Adrian Azzarelli·精选AI 评分59
论文提出面向虚拟制作的可重打光高斯泼溅方法,用背景图像驱动光照
Relightable Gaussian Splatting for Virtual Production Using Image-Based Illumination
AI 导读
Adrian Azzarelli 在 arXiv 发表论文,提出一种面向虚拟制作的可重打光高斯泼溅框架,用已知背景图像约束重打光过程,避免依赖环境贴图,并把合成简化为背景图像编辑。
推荐理由
论文针对 LED 墙拍摄中光照与背景绑定的问题,提出用高斯泼溅做可重打光的重建,并给出资源占用与帧率数据。
正文 · AI 翻译
摘要:虚拟制作(VP)利用 LED 墙同时提供背景影像和基于图像的照明。这虽然能实现现场合成,却把照明与背景和场景外观绑定在一起,限制了下游剪辑的灵活性。此外,逆向渲染通常依赖基于物理的渲染,借助环境贴图来估计三维几何与光照。然而这类贴图分辨率通常较低,且假设为远场照明。在 VP 中,照明是近场、高分辨率的基于图像的照明,这种做法会导致不准确,并给编辑带来复杂性。针对这一问题,我们提出一个面向 VP 的三维重建与重打光框架,基于高斯泼溅(Gaussian Splatting)。该框架利用已知的背景影像来约束重打光过程,从而避免依赖环境贴图,并把合成简化为背景图像编辑任务。为实现该框架,我们引入一套流程(及相应数据集),在不同背景内容和光照条件下采集真实 VP 场景。这些数据用于将三维场景分解为固定外观分量和可变光照分量。可变光照过程通过为每个图元参数化 UV 坐标、强度值和分辨率修饰符来模拟光传输。借助 mipmap,这些参数直接在图像空间对背景纹理采样——无需基于物理的渲染即可隐式捕捉反射与折射。结合固定外观分量,我们便能使用高斯泼溅光栅化器渲染重打光后的场景。与基线方法相比,我们的方法实现了更高质量的三维重建和可控重打光。该方法效率高(内存占用 <3 GB,显存占用 <5 GB,训练时间 <2 小时,约 35 FPS),并支持渲染多种有用的任意输出变量,包括深度、光照强度、光照颜色和无光照渲染。
| 学科分类: | 计算机视觉与模式识别(cs.CV);图形学(cs.GR);多媒体(cs.MM);图像与视频处理(eess.IV) |
| 引用格式: | arXiv:2605.09024 [cs.CV] |
| (或本版本 arXiv:2605.09024v1 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2605.09024 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Adrian Azzarelli [查看邮箱]
[v1]
2026年5月9日星期六 16:04:06 UTC(36,813 KB)
来源:arXiv · virtual production · arxiv.org