跳到正文
  1. arXiv · virtual production57

    UMo:面向实时语音驱动数字人的统一稀疏运动建模架构

    Xiaoyu Zhan 等作者提出 UMo,一种面向实时语音驱动数字人的统一稀疏运动建模架构,在统一框架内处理文本、音频和运动 token。该方法结合空间稀疏的 Mixture-of-Experts 框架与以关键帧为中心的时间稀疏设计,实现实时稠密重建,可同时生成面部表情与手势动画,并采用多阶段训练与针对性音频增强提升声学多样性和语义一致性。

    推荐理由:论文提出统一稀疏运动建模架构,在低延迟约束下兼顾面部表情与手势的实时生成质量。

已经到底了