人体三维重建SMPL、SMPLX、SMPLifyX学习笔记

记录了关于SMPL、SMPLX、SMPLifyX的学习过程及相关工具使用

Posted by py on May 2, 2024

本文基本是针对代码运行和Blender插件的使用来记录,原理和论文请自行查阅。

原理

请参考下面的文章(也可以看论文):

SMPL

  • SMPL官网:官网链接 需要注册才能下载模型和代码。
  • 进入Download,在SMPL for Python Users中选择Download version 1.1.0 for Python 2.7 (female/male/neutral, 300 shape PCs);
  • 按照README.txt的指导运行代码,可能会有import包的路径问题,把脚本文件拖出来就行;
  • 运行成功后会得到一个hello_smpl_m.obj或hello_smpl_f.obj,可以将obj文件导入到Blender中进行可视化。

SMPLX

SMPLX的代码我只跑通了examples/demo.py,最后得到没有姿势动作的SMPLX三维模型; SMPLX里有些包需要注意一下,vposer请在官网下载,如果出现no module xxx,可以先pip install xxx看看有没有,没有就去github搜,搜到克隆下来,将需要的那个文件夹复制到SMPLX代码的文件夹里。

SMPLifyX

  • SMPLifyX源码:GitHub 这是SMPLX的一个实现版本,具体要做的就是输入图像和关键点得到mesh模型(.obj)和姿势参数文件(.pkl)。

遇到的问题

  1. 由smplifyx生成的姿势pkl导入到Blender中,模型会旋转180度,root关键点的位置会变化。这个问题发邮件问了作者,作者的回答是Blender的地面坐标系是XY轴,而smplifyx生成的模型地面坐标系是XZ轴,需要我在Load pose之前固定轴,但我感觉不是这个原因,因为由SMPLX插件Add的模型的局部地面坐标也是XZ,而如果导入的pkl是官方提供的Agora数据集则不会有旋转和root位置改变的情况;

  2. 我尝试截取一个视频中的10帧来生成姿势pkl,再导入到Blender中,逐帧打keyframe生成动画,可以看到如果视频的动作较快,截取的图像残影较大,openpose处理的效果就不好,即生成的关键点会出现缺胳膊少腿的情况,那么迁移到三维模型上,模型就会做出一些奇怪的动作。

解决方法

关于第一个问题,可以通过修改SMPL-X Blender Add-on压缩包里的__init__.py脚本,将set_pose_from_rodrigues(armature, "pelvis", global_orient)改成set_pose_from_rodrigues(armature, "root", global_orient),可以将root关键点放回到胸口差不多的位置。

暂未解决的问题

  1. 由于是逐帧生成的姿势参数,只考虑了姿势,没有考虑全局空间的位移信息,如果你是往前跑步的动作视频,那么得到的动画不加以处理的话就只能得到原地跑步的动画;
  2. 由smplifyx生成的姿势pkl只能导入躯干的姿势,手的姿势和表情是没有的。