跳到正文
arXiv · virtual production· Xiaoyu Zhan·精选AI 评分57

UMo:面向实时语音驱动数字人的统一稀疏运动建模架构

UMo: Unified Sparse Motion Modeling for Real-Time Co-Speech Avatars

AI 导读

Xiaoyu Zhan 等作者提出 UMo,一种面向实时语音驱动数字人的统一稀疏运动建模架构,在统一框架内处理文本、音频和运动 token。该方法结合空间稀疏的 Mixture-of-Experts 框架与以关键帧为中心的时间稀疏设计,实现实时稠密重建,可同时生成面部表情与手势动画,并采用多阶段训练与针对性音频增强提升声学多样性和语义一致性。

推荐理由

论文提出统一稀疏运动建模架构,在低延迟约束下兼顾面部表情与手势的实时生成质量。

正文 · AI 翻译

作者:Xiaoyu Zhan、Xinyu Fu、Chenghao Yang、Xiaohong Zhang、Dongjie Fu、Pengcheng Fang、Tengjiao Sun、Xiaohao Cai、Hansung Kim、Yuanqi Li、Jie Guo、Yanwen Guo

查看 PDF HTML(实验性)

摘要:语音驱动的手势与面部动画是游戏、虚拟制作和互动媒体中富有表现力的数字虚拟人的基础。然而,现有方法要么局限于单一模态进行音频动作对齐,未能充分利用海量人体动作数据的潜力;要么受限于多模态模型的表征能力和吞吐量,难以实现高质量的动作生成或实时性能。我们提出 UMo,一种面向实时共语虚拟人的统一稀疏动作建模架构,在统一框架内处理文本、音频和动作 token。借助空间稀疏的混合专家(Mixture-of-Experts)框架和时间稀疏、以关键帧为中心的设计,UMo 能高效地实时完成稠密重建,为面部表情和手势生成时间连贯、高保真的动画。此外,我们采用多阶段训练策略并配合有针对性的音频增强,以提升声学多样性和语义一致性。因此,即使在严格的延迟约束下,UMo 仍能保持细粒度的语音-动作对齐。大量定量与定性评估表明,UMo 在低延迟和实时性能约束下取得了更好的输出质量,为高保真实时共语虚拟人提供了一种实用方案。
学科分类: 图形学(cs.GR);计算机视觉与模式识别(cs.CV);声音(cs.SD)
引用格式: arXiv:2605.14731 [cs.GR]
  (或本版本的 arXiv:2605.14731v1 [cs.GR])
  https://doi.org/10.48550/arXiv.2605.14731

由 DataCite 颁发的 arXiv DOI

提交历史

提交人:Xiaoyu Zhan [查看邮箱]
[v1] 2026年5月14日 星期四 11:56:03 UTC(9,125 KB)

来源:arXiv · virtual production · arxiv.org