“photo wake-up”创新项目实训第一周开题总结

项目名称：“photo wake-up”基于二维图像的三维人体模型重建

项目开始时间：2019年3月16日

项目背景：
《哈利波特》世界里有一种神奇的魔法报纸，报中照片上的人物可以动起来，看起来有点像 GIF 图。在故事里这当然是「魔法」的功劳，现实世界中还没有造出这样的报纸。我们想通过现有对图像的研究，使用AI算法，实现这个过程。华盛顿大学的几个科学家已经研究出来这样的算法，他们提出了一种使单一图片中的人物动起来的方法，图中的人物在三维场景下可以行走，奔跑，坐下或跳跃。
官方表示成果：https://grail.cs.washington.edu/projects/wakeup/
但是网站始终没有表示要公开代码，网民也表示出对成果真实性的质疑，这是一个十分有创意的事情，我们希望能把他们的算法实现出来，希望能应用于AR领域。

主要内容
给定一张图片，进行图像分割和人物姿态预测，提取画中人的2D骨骼关键点。将一个通用的SMPL人体模型（带骨骼与蒙皮的）fit到输入图像，将SMPL的2D轮廓Warp到估计出的人体2D轮廓，将此Warp应用到法向图、深度图、蒙皮权重图.根据得到的这些图，重构出网格（带骨骼与蒙皮信息），再将现有的运动捕捉数据，应用于重建之后的模型上，产生动画。

技术路线
我们整个工作首先需要学习TensorFlow框架以及opencv库的使用，并且成功运行第一部分的代码，得到人体二维关节点预测图以及SMPL模型，之后在进行第二三部分的算法研究，最后将运动捕捉数据应用到重建的模型中。

预期成果
以二维图像为输入，能重建图像中的三维人体模型动画，使图像上的人物动起来。