UMo:面向实时语音驱动数字人的统一稀疏运动建模架构
Xiaoyu Zhan 等作者提出 UMo,一种面向实时语音驱动数字人的统一稀疏运动建模架构,在统一框架内处理文本、音频和运动 token。该方法结合空间稀疏的 Mixture-of-Experts 框架与以关键帧为中心的时间稀疏设计,实现实时稠密重建,可同时生成面部表情与手势动画,并采用多阶段训练与针对性音频增强提升声学多样性和语义一致性。
推荐理由:论文提出统一稀疏运动建模架构,在低延迟约束下兼顾面部表情与手势的实时生成质量。
技术方向
数字角色与虚拟人的制作:扫描建模、绑定、实时驱动和在影视与直播中的使用。
1 条精选近 30 天 0 条共收录 5 条
Xiaoyu Zhan 等作者提出 UMo,一种面向实时语音驱动数字人的统一稀疏运动建模架构,在统一框架内处理文本、音频和运动 token。该方法结合空间稀疏的 Mixture-of-Experts 框架与以关键帧为中心的时间稀疏设计,实现实时稠密重建,可同时生成面部表情与手势动画,并采用多阶段训练与针对性音频增强提升声学多样性和语义一致性。
推荐理由:论文提出统一稀疏运动建模架构,在低延迟约束下兼顾面部表情与手势的实时生成质量。