动作捕捉方法 – 3D建模MyIE

2021-11-12 09:44 阅读 29 views 次 动作捕捉方法 – 3D建模MyIE已关闭评论

介绍

动作捕捉服务支持检测人体24个骨骼关键点,如:头顶、脖子、肩、肘、手腕、髋、膝盖、脚踝等,输出这些骨骼关键点的3D信息。目前支持以下输入形式:

  • 实时视频流:支持单人全身及半身视频流的动作捕捉。
  • 静态图片:支持单人全身及半身RGB图片的动作捕捉。

应用场景

该服务广泛应用于3D内容制作领域,特别是游戏、影视、医疗等行业。例如,UGC游戏中角色的驱动及动画视频制作,虚拟主播的实时驱动,医疗行业的康复指导等。

输入视频帧或图片规格

接口

分辨率(单位:px)

格式

推荐场景

异步接口

建议不小于320*320,不大于1920*1080(分辨率过低影响检测精度,分辨率过高会影响检测帧率)。

  • 视频帧:NV21
  • 图片:bitmap

需要相机预览界面绘制等应用场景推荐使用异步接口。

同步接口

建议不小于320*320,不大于1920*1080(分辨率过低影响检测精度,分辨率过高会影响检测帧率)。

-

输入视频帧或图片采集方法建议

  • 支持站立、行走、舞蹈、蹲、侧身、弯腰等常见姿态。不支持平躺、侧躺及人体关键部位遮挡严重的姿态。
  • 单人全身或半身清晰视频或图片,人物占比超过20%,身体遮挡尽量少。
  • 衣着简单,避免全黑或全白衣物、过于宽松的上衣或过膝长裙,四肢尽量在视频中显露。
  • 镜头与人体平行,不要仰拍或者俯拍等倾斜拍摄。
  • 拍摄光线正常,避免光线过曝或过暗,不推荐逆光场景。

输出规格

  • 输出帧率:麒麟980芯片CPU运行帧率可达30 fps。
  • 同时输出人体24个骨骼关键点(如下图所示)四元数和3D坐标及根节点的位移参数。

    四元数和3D坐标及根节点(人为规定骨骼关键点0为根节点)的位移参数位于如下的右手坐标系中。其中四元数为各个关键点相对于根节点的四元数,3D坐标为各个关键点相对于根节点的相对坐标,根节点的位移参数是根节点在此坐标系的绝对坐标。

注意事项

当前版本不支持极端的动作或高速运动(特别是腿部和上半身之间夹角与站立状态差别过大时,如武术中的飞踢、高难度的瑜伽动作等)。

版权声明:本文著作权归原作者所有,欢迎分享本文,谢谢支持!
转载请注明:动作捕捉方法 – 3D建模MyIE | 蚂蚁浏览器文档
分类:3D建模MyIE 标签:

评论已关闭!