arXiv · virtual production· Yuanjian He·精选AI 评分58
CineMatte:面向虚拟制作的前景抠像框架与 CineMatte-4K 数据集
CineMatte: Background Matting for Virtual Production and Beyond
AI 导读
Yuanjian He 提出 CineMatte 前景抠像框架,用共享权重的冻结 DINOv3 ViT 分别编码输入帧与背景,再经交叉注意力预测前景,以降低对背景变化的敏感度。
推荐理由
论文提出面向 LED 虚拟制作的前景抠像框架,并公开在专业影棚拍摄的 4K HDR 数据集,可供后期替换背景参考。
正文 · AI 翻译
摘要:LED 虚拟制作(VP)利用大型 LED 虚拟影棚实时渲染背景,实现机内视觉特效,但拍摄后的修改十分费工。为此我们提出 CineMatte,一个面向虚拟制作及更广泛场景的稳健背景抠像框架。CineMatte 采用交叉注意力条件化设计:它不把背景与输入直接拼接,而是用共享权重、冻结的孪生 DINOv3 视觉 Transformer 分别编码输入帧与拍摄到的背景,再由交叉注意力模块比较两路特征来预测前景,从而保留预训练语义,并提升对背景变化的稳健性。以往基于 ViT 的抠像模型会另设并行的卷积“细节分支”来恢复细节,但由于与主干网络存在语义错位,在真实样本中容易产生边界伪影。我们改用预训练的、图像引导的特征上采样器替代它,大幅缓解了这一问题。我们还发布了 CineMatte-4K,一个在专业 LED 虚拟制作影棚拍摄的 4K HDR 图像与视频数据集。据我们所知,其中的图像子集是首个面向虚拟制作抠像的数据集,且并非合成数据,而是通过绿幕插入获得;视频子集包含带跟踪轨迹的相机运动,便于后续以正确的视差渲染任意背景。在 CineMatte-4K 与公开基准(VideoMatte240K、YouTubeMatte)上,CineMatte 不仅在虚拟制作场景中表现出色,对真实拍摄素材也有稳健的泛化能力。
| 学科: | 计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2605.18328 [cs.CV] |
| (或本版本的 arXiv:2605.18328v1 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2605.18328 arXiv 通过 DataCite 颁发的 DOI |
提交历史
来自:Yuanjian He [查看邮箱]
[v1]
2026年5月18日 星期一 12:45:27 UTC(3,728 KB)
来源:arXiv · virtual production · arxiv.org