人体姿态估计--RMPE: Regional Multi-Person Pose Estimation
2018-03-08 14:37
886 查看
RMPE: Regional Multi-Person Pose Estimation
ICCV2017
Code is based Caffe and Torch!
https://github.com/MVIG-SJTU/RMPE
https://github.com/MVIG-SJTU/AlphaPose
多人人体姿态估计本文解决思路: 多人检测+单人人体姿态估计 Faster-RCNN + SPPE Stacked Hourglass model
对 SPPE 进行了改进,引入了 三个模块: Symmetric Spatial Transformer Network (SSTN),
Parametric Pose Non-Maximum-Suppression(NMS), and Pose-Guided Proposals Generator (PGPG)
多人人体姿态估计目前主要有两类方法: two-step framework 和 part-based framework
two-step framework:先将每个人检测出来,用矩形框框出来,然后对每个人独立的进行人体姿态估计
part-based framework: 首先将人体 body parts 全部检测出来,然后 组装这些部件形成多人姿态估计。
这里我们采用 two-step framework:Faster-RCNN + SPPE Stacked Hourglass model,下图显示存在的问题
主要的问题有两个: localization error problem 和 redundant detection problem
SPPE 对于矩形框位置误差很敏感。SPPE 对每个矩形框都会产生一个姿态,所以重复检测导致了冗余姿态
为了解决上述两个问题, 我们提出一个 regional multi-person pose estimation (RMPE) framework
3 Regional Multi-person Pose Estimation
首先用人体检测器得到 human bounding boxes, 可以用 SSD 或 Faster R-CNN。然后将这些人体矩形框输入 “Symmetric STN + SPPE” 模块,自动输出 pose proposals,对这些 pose proposals 我们用 parametric Pose NMS 微调得到 最终的 人体姿态估计。
在训练阶段,我们引入 “Parallel SPPE” 来避免局部最小值,提升 SSTN 性能。The Parallel SPPE acts as an extra regularizer during the training phase
为了增强已有的训练样本,我们设计了 pose-guided proposals generator (PGPG)。
3.1. Symmetric STN and Parallel SPPE
由人体检测器得到的单人矩形框作为 SPPE的输入不是很合适。这是因为 SPPE 是针对单人图像训练的,对人体定位误差很敏感。实验中发现单人矩形框小的平移或裁剪对SPPE的性能影响很大。我们引入 对称STN+平行 SPPE 来提升SPPE的性能,减少单人矩形框小偏差的影响。
4 Experiments
11
ICCV2017
Code is based Caffe and Torch!
https://github.com/MVIG-SJTU/RMPE
https://github.com/MVIG-SJTU/AlphaPose
多人人体姿态估计本文解决思路: 多人检测+单人人体姿态估计 Faster-RCNN + SPPE Stacked Hourglass model
对 SPPE 进行了改进,引入了 三个模块: Symmetric Spatial Transformer Network (SSTN),
Parametric Pose Non-Maximum-Suppression(NMS), and Pose-Guided Proposals Generator (PGPG)
多人人体姿态估计目前主要有两类方法: two-step framework 和 part-based framework
two-step framework:先将每个人检测出来,用矩形框框出来,然后对每个人独立的进行人体姿态估计
part-based framework: 首先将人体 body parts 全部检测出来,然后 组装这些部件形成多人姿态估计。
这里我们采用 two-step framework:Faster-RCNN + SPPE Stacked Hourglass model,下图显示存在的问题
主要的问题有两个: localization error problem 和 redundant detection problem
SPPE 对于矩形框位置误差很敏感。SPPE 对每个矩形框都会产生一个姿态,所以重复检测导致了冗余姿态
为了解决上述两个问题, 我们提出一个 regional multi-person pose estimation (RMPE) framework
3 Regional Multi-person Pose Estimation
首先用人体检测器得到 human bounding boxes, 可以用 SSD 或 Faster R-CNN。然后将这些人体矩形框输入 “Symmetric STN + SPPE” 模块,自动输出 pose proposals,对这些 pose proposals 我们用 parametric Pose NMS 微调得到 最终的 人体姿态估计。
在训练阶段,我们引入 “Parallel SPPE” 来避免局部最小值,提升 SSTN 性能。The Parallel SPPE acts as an extra regularizer during the training phase
为了增强已有的训练样本,我们设计了 pose-guided proposals generator (PGPG)。
3.1. Symmetric STN and Parallel SPPE
由人体检测器得到的单人矩形框作为 SPPE的输入不是很合适。这是因为 SPPE 是针对单人图像训练的,对人体定位误差很敏感。实验中发现单人矩形框小的平移或裁剪对SPPE的性能影响很大。我们引入 对称STN+平行 SPPE 来提升SPPE的性能,减少单人矩形框小偏差的影响。
4 Experiments
11
相关文章推荐
- 姿态估计 RMPE: Regional Multi-Person Pose Estimation 论文学习
- 姿态检查整理--07-RMPE: Regional Multi-Person Pose Estimation
- Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields ∗ 实时多人人体姿态估计论文原理讲解
- 人体姿态估计综述(Human Pose Estimation Overview)
- [置顶] 【论文阅读】RMPE:Regional Multi-Person Pose Estimation
- 《Towards Viewpoint Invariant 3D Human Pose Estimation》--深度图领域人体姿态估计的CNN算法
- 行人姿态估计--Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
- 人体姿态估计--Stacked Hourglass Networks for Human Pose Estimation
- 论文阅读:《RMPE: Regional Multi-Person Pose Estimation》ICCV 2017
- 姿态估计论文思路整理 -- Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
- 人体姿态估计数据集整理(Pose Estimation/Keypoint)
- 人体姿态估计数据集整理(Pose Estimation/Keypoint)
- 人体姿态”RMPE: Regional Multi-Person Pose Estimation“
- 【转】论文阅读:《RMPE: Regional Multi-Person Pose Estimation》ICCV 2017
- 第七章 采用AAM和POSIT的3D头部姿态估计——Chapter 7:3D Head Pose Estimation Using AAM and POSIT
- Hand Pose Estimation (手的姿态估计) tensorflow 实现教程(一)
- 姿态估计 - Human Pose Estimation Papers
- 在自遮挡下的单目图像3D姿态估计 Monocular Image 3D Human Pose Estimation under Self-Occlusion (ICCV 13)
- 3D人体姿态估计--Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose
- 人体姿态估计(human pose estimate)