MimicMotion

工具简介

MimicMotion由腾讯公司和上海交通大学联合研发，是一款高质量人体动作视频生成模型。它利用信心感知的姿态引导技术，增强视频生成的可控性，改善时序平滑性，并减少图像失真。模型基于图像到视频的扩散框架，集成时空U-Net和PoseNet，能根据姿势序列条件生成任意长度的视频。在多个评估维度上，MimicMotion表现优于现有方法，特别是在手部生成质量和参考姿势准确遵循方面。

适用人群

MimicMotion面向视频制作者、动画师和AI研究人员。该技术可辅助生成需要复杂人体动作和时序连贯性的视频内容，应用场景包括电影后期制作、虚拟现实体验、游戏动画和AI研究。

使用场景

生成舞蹈视频，展现流畅的人体动作和表情。在游戏开发中为角色设计动态响应动作。创建虚拟现实中的交互式角色，呈现逼真的动作和反应。

产品特色

采用重叠扩散技术生成任意长度视频。信心感知姿态引导根据姿势估计置信度调整影响。基于姿势置信度的区域损失放大，显著减少图像失真。渐进式潜在融合策略生成具有时序平滑性的长视频。消融研究验证了信心感知姿态引导和手部区域增强的有效性。用户研究显示，MimicMotion在TikTok数据集测试集上优于基线方法。