微软自拍：让黑科技拯救不会拍照的你

微软自拍：让黑科技拯救不会拍照的你

微软亚洲研究院 2015年12月28日

你知道吗，不久前淘宝发布的消费数据报告显示，自拍杆的购买主力军居然是50-59岁的人群！无论你是否买过自拍杆，毫无疑问，如今自拍绝对不是只属于年轻人的娱乐。


图片来自互联网

在把美美的自拍照晒到社交媒体之前，大部分人都有着不可缺少的一步，那就是利用修图软件对图片进行美化。目前市面上的图片美化软件种类繁多，操作方式也复杂百变，一不小心把自己P成“蛇精脸”的修图雷区也是让人防不胜防。社交媒体上出现的“你这么美，你妈妈知道吗？”就是形容修图软件操作不当而导致图片失真的情况。因此，一款操作简便，适应各种年龄层和多种使用场景的图片美化软件的出现十分必要。

微软最新推出的图片美化应用——微软自拍（Microsoft Selfie）就是这样一款智能的应用。它能够针对自拍照片中出现的所有人脸的年龄和性别进行差异化一键自动美颜。此外，微软自拍还能自动为你的照片降噪补光，无论光线环境如何复杂，都能拍出理想的照片。

观看视频：微软自拍

自拍+美化，只需一键

如果要给微软自拍写一个使用攻略的话，那么它应该是这样的：1、打开微软自拍应用；2、对着镜头摆好表情；3、拍照；然后就没有然后了…… 因为微软自拍能够一键美化你的图片，在很短的时间内实现拍照+美化的全过程。之后保存你美美的照片分享到朋友圈，等着集赞吧~

但是，如果给微软自拍写一个技术流程的话， 那就复杂了……


微软自拍算法流程

当你打开微软自拍准备开始拍照时，该应用会主动感应周边的环境，如果光线过暗以至于拍照可能产生噪点，例如晚上的户外派对，酒吧等环境，它就会自动开启降噪模式，以确保最后生成的图片干净无噪点。

无论是通过微软自拍拍摄到的照片，还是从相册导入图片，它会在接下来不到1秒的时间内，对输入照片进行快速处理，主要包括自然美颜，智能降噪和曝光增强三个部分，对于无论是自拍照片，还是非人像照片（如风景、物体等），都能实现理想的照片美化效果。

自然美颜：

事实上，不同性别和不同年龄段的用户对自拍修图的要求差别很大。例如，一家三代同堂的合照，奶奶、母亲和女儿三代人的面部都被同样对待——修得同样光滑、毫无皱纹与瑕疵，那肯定不是我们希望看到的。男士也希望自己修图的效果能恰到好处的表现出男人的硬气和潇洒，而不是最后修出来的皮肤吹弹可破、嫩白细滑。


图片来自互联网

微软自拍的智能美颜功能在美化人像照片时，会自动识别图片中人像的年龄、性别、肤色和光照等因素，并基于此相应地消除用户不需要的皱纹、眼袋、雀斑、痘印等。但对于用户希望保留的体貌特征，如，头发、纹身、浓密的胡子等，或者面部出现的装饰物，如耳钉、鼻环、眼镜等，该应用则会尽量保持不变，最终使整个人脸美化效果更为自然。

这样，无论是单人自拍还是多人合照，一键自然美颜能让照片中的所有人拥有最合适自己的美颜效果！


如此简单通用的美颜操作，背后的技术可不简单。首先，系统要对照片进行JDA人脸检测（Face detection）（Joint Cascade Face Detection and Alignment. ECCV 2014），检测出这张图片是否存在人脸，一共有多少张人脸，以及人脸出现在图片的什么地方。


随后，系统利用特征点检测技术分析每一张人脸的不同五官需要什么程度的美化。微软自拍采用的是微软亚洲研究院在2014年CVPR大会上发表的论文：Face Alignment at 3000 FPS via Regressing Local Binary Features中提出的68个人脸特征点检测方法。借用该方法，系统能够快速准确地检测出脸型和特征点。接下来，基于高层的智能方式，算法会对图片中的人脸进行信息提取，包括年龄和性别的判别（Blessing
of Dimisionality: High Dimensional Feature and Its Efficient Compression for Face Verification CVPR 2013）。而这个技术也应用在了大家所熟知的How-old.net（微软颜龄机器人）上。


最后，该应用采用的“数字化洁面”算法会基于已经提取的面部信息对人脸进行美化处理。不同于市面上常常导致图片失真的美化算法，“数字化洁面”算法包括两个部分，一是基于大数据的脸部美化分析，研究员根据大数据的分析对不同的性别和年龄建立了不同的美化模型集，从而更有针对性地对不同人群的图像进行美化。二是应用新的图像处理算法，不同于传统通过低通或者双边滤波的方式，从而避免图片的美化出现失真，如阶梯形效应（Staircase effect）带来的卡通化，又能获得自适应的美化效果，即去除不想看到的皱纹、痘印等信号，但是保留纹身、首饰等重要信息，避免“千人一面”的问题。

智能降噪：

智能降噪功能是微软自拍的一项“独门绝技”，在开启摄像头时就会针对周围环境进行判断。如果所处的拍摄环境光线条件不甚理想，直接拍摄到的照片通常会带有很多噪点，清晰度也会受到影响。在此时微软自拍会自动开启降噪功能，通过快速拍摄多张照片，并对其进行处理，最终生成一张平滑降噪的照片。正如大家所知道的，照片成像的噪声水平受手机或照相机本身等硬件条件影响极大，但购买高级设备则花费巨大，而微软自拍采用数字化降噪功能所生成的图片效果完全可与单反相机 (DSLR)在三脚架上采用低ISO长曝光时间的拍摄效果媲美，从而为智能手机用户在夜间拍摄到高质量的照片提供了更好的选择，真正做到“硬件不足软件补”。




与微软已发布的延时摄影应用Hyperlapse 相似，微软自拍在智能降噪功能的关键技术包括快速帧间对齐和多帧降噪技术。单张照片上的噪点是围绕平均值进行上下波动的，而如果把两张有噪点的图片进行叠加的话，就可以得出一张更为干净的图片。图片数量增多，照片中的噪点也会逐步下降。基于这样的原理，研究员提出了一个快速多帧降噪的方法，相关论文已在去年的SIGGRAPH
Asia大会上发表（Fast Burst Images Denoising SIGGRAPH Asia 2014）。




但针对拍照过程中的手抖现象，如果只是简单地把连拍的多张照片进行平均叠加的话，则会产生重影的效果。因此，研究员对帧和帧之间采用了相机模型估计的方法，不通过传感器而是完全通过数字化的帧间对齐方法进行处理。其次，当帧和帧对齐之后，因为场景中深度有所不同，一个微小的运动都会导致同一个像素点在不同帧对应的物体不一样，所以如果只是简单地做图片平均的话，还是有可能导致图片重影。所以，研究员采用的算法会甄别选取一致的像素点拿来做平均，这个平均不仅是发生在时间域上也会发生在空间域上，从而让该降噪算法对于无论是人脸照片还是非人脸照片都有着非常理想的效果。

曝光增强：

相信大家都碰到过想要拍摄的场景受限于角度、光线等问题从而导致逆光拍摄的情况，而微软自拍的自动曝光功能则能对照片进行针对性的区域曝光调整。例如一张逆光的照片，人脸和所有逆光的景物，相对比背景都显得十分暗淡。或者是面对阳光的照片，受光面十分耀眼，并且人脸难以获得自然的表情。这种情形下，对拍摄到的一张照片进行后期处理的话，传统修图应用通常会全局地调整画幅中的光线情况，即会出现前景拉亮的同时，整个背景光线过亮，甚至出现过曝的情况。




面对这种情况，微软自拍会自动对画幅中各区域进行曝光分析和调整。首先系统会自动检测背光情况，并对各区域提供最佳的局部曝光补偿，避免整体图片调整而导致图片过度曝光，并保证照片在能够看清逆光景物的同时保持照片的层次感（Automatic Exposure Correction of
Consumer Photographs ECCV 2012）。

而针对风景照常见的薄雾情况，研究员还开发了去雾算法（Single Image Haze Removal using Dark Channel Prior CVPR 2009）。该算法能与曝光校正算法融合增强照片的清晰度，从而达到使用紫外线滤镜(UV)或圆偏振镜 (CPL)的专业级照片效果。当然PM2.5爆表的时候还是老老实实待在室内或者带好口罩吧，就别拍照了……

轻应用，大技术

从雏形到应用，微软亚洲研究院视觉计算组为微软自拍全程提供了技术支持。视觉计算组的研究方向和专业涵盖了计算机视觉研究领域的整个范畴，主要包括人脸，图像编辑和计算摄影，图像识别和检测等方面。

针对人脸的研究包括人脸（特征点）检测，人脸识别，人脸的属性识别等等。该项研究成果已经在微软牛津计划的人脸识别API（Face API），Windows Hello刷脸开机，Kinect Identification身份验证开机和微软小冰等诸多与人脸有关的产品与服务中得到应用。

而在图像编辑和计算摄影方向，视觉计算组的研究主要为图像自动编辑和相机增强技术等等。今年12月，刚刚开放的微软牛津计划视频API（Video API）中也有该研究方向的身影。此外，OfficeLens，Hyperlapse等用户达千万级的应用中也都可以看到视觉计算组在图像编辑上的研究成果。

在图像识别和检测方面，该研究组在图像内容的理解、识别、检测和分割等方面都取得了突破性的进展。不久前，在全球顶尖高校和科研机构举办的2015 ImageNet计算机视觉识别挑战赛中，该组的研究员们凭借深层神经网络技术的最新突破，以绝对优势获得了图像分类、图像定位以及图像检测全部三个主要项目的冠军，击败了来自学界、企业和研究机构的众多参赛者，打造出了目前世界上最精确的计算机视觉系统。

当谈及开发微软自拍这样一款App背后的技术诉求时，微软亚洲研究院视觉计算组主管研究员袁路表示： “对于人脸编辑这个研究方向，我们一直有着极大兴趣，这也是目前针对人脸的研究中所缺失的一环。How-old.net（微软颜龄机器人）备受用户欢迎，让我们看到了大众对于面部智能科技的热情和渴求。因此我们希望做一个相比于目前市面上已有的面部美化产品更好的、适用人群和环境更广的、效果更自然的全智能产品。”从2015年7月开始，微软自拍项目历时5个月就从想法变成了面向市场的一款智能型应用，其中离不开的是微软亚洲研究院视觉计算组在计算机视觉领域长达十余年的研究积累以及微软亚太研发集团创新孵化组的敏捷开发。

让技术趋于隐形

在微软对外发布的众多耳熟能详的产品和服务中，都能看到来自微软亚洲研究院日积月累的基础研究成果。微软亚洲研究院就如同创新引擎，源源不断地把最前沿的科研成果转化至微软的产品和服务中。普通用户虽然看不到背后繁复技术的运作，却可以切实地享受到技术带来的便利。

在谈及微软自拍之后的技术走向时，袁路提到了三个发展方向。第一点是实现更智能的图像处理和相机增强，例如增加对场景的智能分类来让手机自动选择更适合的处理及拍摄方式。第二点是增加人脸编辑的更多特效，让用户可以更为个性化地订制出不同的造型，增加更多可供选择的面部增强效果，如选择瘦脸与否等。最后一点则是将图片质量智能增强的技术应用到视频的实时处理中。最终的目标是把这些复杂的技术应用到人们的生活中，让每个人都能够真正感受到智能的、个性化的计算体验。