“photo wake-up”第三周个人工作总结

2019年3月29号
/马晓颖

上周我们已经可以从输出的一个二维图片输出人体的14个关节点，下一步就是研究Convolutional pose machines的输出是什么，怎么把这些输出设配到一个三维模型中。

首先我们开始研究2016年的一篇论文 keep it SMPL
（F. Bogo, A. Kanazawa, C. Lassner, P. Gehler, J. Romero, andM.J.Black. KeepitSMPL:Automaticestimationof3D human pose and shape from a single image. In Computer Vision – ECCV 2016, Lecture Notes in Computer Science. Springer International Publishing, Oct. 2016）

SMPL模型：

论文地址 http://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

SMPL模型是一种参数化人体模型，是马普所提出的一种人体建模方法，该方法可以进行任意的人体建模和动画驱动。这种方法与传统的LBS的最大的不同在于其提出的人体姿态影像体表形貌的方法，这种方法可以模拟人的肌肉在肢体运动过程中的凸起和凹陷。因此可以避免人体在运动过程中的表面失真，可以精准的刻画人的肌肉拉伸以及收缩运动的形貌。

官方的运行效果

而且模型添加了camera参数，得到模型后可以得到不同角度的模型，估计camera参数在后期投影得出二维图像时会有用

该模型输入的是图片及其关节点，输出的是一个可用的三维模型，十分符合我们任务的要求，而且文章代码已公开，我们尝试跑通这份代码。

试跑demo阶段

代码需要在linux系统下跑，而且我个人电脑环境缺失比较多，按照README中步骤一步一步配环境装库还是遇到了比较多的问题。

这部分是我的小伙伴们完成的，为他们鼓个掌掌！

解决完这些问题之后，用官方的LSP数据集以及训练好的关节点可以得出以下结果

也得出以下的temp文件

成功跑通了！

原论文与源码阅读阶段

生成模型主要是人体十四个关节点的数据。通过进一步分析知道了节点的顺序（ Right ankle，Right knee，Right hip，Left hip， Left knee， Left ankle，Right wrist， Right elbow，Right shoulder， Left shoulder， Left elbow ，Left wrist， Neck ，Head top）以及节点信息存储的位置。节点信息存储在/smplify_public/results/est_joints.npz文件中，读取该文件，发现是一个键为‘est_joints’值为(28, 14, 2000)的列表的字典。

因此阅读cpm的源码，将其中表示关节点的信息存储到npz文件中，同时修改相应的性别信息，运行cpm模型，得到并存储关节点信

运行smpl代码

效果还可以！

分析得出的数据

得到三个数据

cam_t//应该是照相机translation参数
pose//大概就指示着模型参数
beta//是照相机ratation参数
f//猜测为焦距

弄清楚这些参数是什么，怎么通过这些参数作为输入构建出可用的三维模型并得出其法线贴图，蒙皮贴图，深度图，就是下一步任务了