arXiv · virtual production· Nitzan Hodos·精选AI 评分55
MACRO:面向 3DGS 近景渲染优化的免训练多平面注意力方法
MACRO: Training-free Multi-plane Attention for Closeup Render Optimization
AI 导读
Nitzan Hodos 提出 MACRO,一种免训练的多平面注意力方法,用于从 3DGS 生成高质量近景新视角画面。研究指出参考图条件增强模型的特征不具备尺度不变性,近景与参考视角的尺度差导致跨视角注意力取错对应关系,且 VAE 编码器非尺度等变使该问题无法在潜空间修正。
推荐理由
论文分析了 3DGS 近景渲染在参考图条件增强下失效的尺度差异原因,并给出无需训练的多平面注意力方案。
正文 · AI 翻译
摘要:特写渲染——将镜头拉近到远超任何训练相机所及的场景范围——对虚拟制作和交互式 3D 内容很重要,但仍是一个未解决的难题。3D 高斯泼溅(3DGS)能实现高保真、实时的全新视角合成,但其渲染质量在近距离下会下降。近期一些基于扩散模型的方法通过以训练集中的参考图像为条件来增强渲染,但在这种场景下会产生明显的伪影。我们分析了这一失败现象并找出其根本原因:特写视角与参考视角之间的尺度差距。我们表明,以参考图像为条件的增强模型中的特征并非尺度不变,当相同内容以不同尺度出现时,跨视角注意力会检索到错误的对应关系;而且这种不匹配无法在潜空间中修正,因为 VAE 编码器不具备尺度等变性。基于这一分析,我们提出 MACRO(Multi-plane Attention for Closeup Render Optimization,多平面注意力特写渲染优化),这是一种无需训练、可从 3DGS 生成高质量特写全新视角合成的方法。MACRO 利用场景已知的 3D 结构来消除尺度差距:它将特写分解为多个深度平面,在图像空间中对参考图像进行裁剪和缩放,使其在编码前与每个平面的尺度匹配,并施加深度感知注意力掩码,使每个 token 只关注尺度匹配的参考图像。该方法无需改动架构,也无需额外训练。我们还贡献了两个新的特写全新视角合成基准,这是该场景下首个标准化评测协议,并在两个基准上展示了当前最优的结果,在重建指标和感知指标上均优于现有的 3DGS 和基于扩散模型的方法。项目主页:此 https URL
| 评论: | 项目主页:此 https URL |
| 学科: | 计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2607.03875 [cs.CV] |
| (或本版本的 arXiv:2607.03875v2 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2607.03875 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Nitzan Hodos [查看邮箱]
[v1]
2026 年 7 月 4 日星期六 13:36:06 UTC(38,839 KB)
[v2]
2026 年 11 月 14 日星期六 13:45:20 UTC(38,718 KB)
来源:arXiv · virtual production · arxiv.org