谷歌将最新语义图像分割模型DeepLab-v3+开源
2018-03-28 13:37
841 查看
Google 研究团队开源在 Tensorflow 中进行语义图像分割(Semantic Image Segmentation)模型 DeepLab-v3+,包括 Google Pixel 2 和 Pixel 2XL 手机上的人像模式(Portrait Mode),以及 YouTube 为影片实时更换背景功能,都是这项技术的应用。
Google 研究软件工程师 Liang-Chieh Chen 以及 Yukun Zhu 表示,语义图像分割的主要目的是为每个像素指定语义标签,例如路、天空、人或是狗等物体,不少的程序需要这样的功能,像是合成浅景深效果(Synthetic Shallow Depth-of-field)效果,应用在手机 Pixel 2 和 Pixel 2XL 上提供的人像模式(Portrait Mode),能自动模糊人物的背景,作出类似单镜头反光相机的景深效果。
另外,在多数摄影 App 都会提供的实时影像分割(Video Segmentation),例如最近 YouTube 发表的新功能,为影片换背景的功能,也是语义影像分割的应用。DeepLab-v3+ 在 Tensorflow 上进行,使用部署于端的卷积神经网络(CNN)骨干架构,以获取最佳的结果。除了代码之外,研究团队也同时公开了 Tensorflow 模型训练以及评估程序,以及使用 Pascal VOC 2012 与 Cityscapes 资料集训练的模型。DeepLab-v3+ 技术是基于三年前的 DeepLab 模型,期间改进了卷积神经网络特征萃取器、物体比例塑造模型以及同化前后内容的技术,再加上进步的模型训练过程,还有软硬件的升级,从 DeepLab-v2 到 DeepLab-v3,直到现在发表的 DeepLab-v3+,效果一代比一代好。DeepLab-v3+ 是由 DeepLab-v3 扩充而来,研究团队增加了解码器模组,能够细化分割结果,能够更精准的处理物体的边缘,并进一步将深度卷积神经网络应用在空间金字塔池化(Spatial Pyramid Pooling,SPP)和解码器上,大幅提升处理物体大小以及不同长宽比例的能力,最后得到强而有力的语义分割编码解码器网络。
Liang-Chieh Chen 以及 Yukun Zhu 特别提到,随着软硬件的升级,建构在卷积神经网路上的现代语义图像分割功能,可以达到的水准已经远远超过 5 年前。TensorFlow 的详细介绍:点击查看
TensorFlow 的下载地址:点击下载
本文地址:https://www.linuxprobe.com/google-deeplab-v3.html
Google 研究软件工程师 Liang-Chieh Chen 以及 Yukun Zhu 表示,语义图像分割的主要目的是为每个像素指定语义标签,例如路、天空、人或是狗等物体,不少的程序需要这样的功能,像是合成浅景深效果(Synthetic Shallow Depth-of-field)效果,应用在手机 Pixel 2 和 Pixel 2XL 上提供的人像模式(Portrait Mode),能自动模糊人物的背景,作出类似单镜头反光相机的景深效果。
另外,在多数摄影 App 都会提供的实时影像分割(Video Segmentation),例如最近 YouTube 发表的新功能,为影片换背景的功能,也是语义影像分割的应用。DeepLab-v3+ 在 Tensorflow 上进行,使用部署于端的卷积神经网络(CNN)骨干架构,以获取最佳的结果。除了代码之外,研究团队也同时公开了 Tensorflow 模型训练以及评估程序,以及使用 Pascal VOC 2012 与 Cityscapes 资料集训练的模型。DeepLab-v3+ 技术是基于三年前的 DeepLab 模型,期间改进了卷积神经网络特征萃取器、物体比例塑造模型以及同化前后内容的技术,再加上进步的模型训练过程,还有软硬件的升级,从 DeepLab-v2 到 DeepLab-v3,直到现在发表的 DeepLab-v3+,效果一代比一代好。DeepLab-v3+ 是由 DeepLab-v3 扩充而来,研究团队增加了解码器模组,能够细化分割结果,能够更精准的处理物体的边缘,并进一步将深度卷积神经网络应用在空间金字塔池化(Spatial Pyramid Pooling,SPP)和解码器上,大幅提升处理物体大小以及不同长宽比例的能力,最后得到强而有力的语义分割编码解码器网络。
Liang-Chieh Chen 以及 Yukun Zhu 特别提到,随着软硬件的升级,建构在卷积神经网路上的现代语义图像分割功能,可以达到的水准已经远远超过 5 年前。TensorFlow 的详细介绍:点击查看
TensorFlow 的下载地址:点击下载
本文地址:https://www.linuxprobe.com/google-deeplab-v3.html
相关文章推荐
- Google最新语义图像分割模型DeepLab-v3+
- 【图像语义分割】DeepLab V2: CNN + Atrous Convolution + Fully Connected CRF
- DeepLab:语义图像分割
- 全卷积神经网络 图像语义分割实验:FCN数据集制作,网络模型定义,网络训练(提供数据集和模型文件,以供参考)
- DeepLab:深度卷积网络,多孔卷积 和全连接条件随机场 的图像语义分割 Semantic Image Segmentation with Deep Convolutional Nets, Atro
- 全卷积神经网络 图像语义分割实验:FCN数据集制作,网络模型定义,网络训练(提供数据集和模型文件,以供参考)
- 谷歌I/O走进TensorFlow开源模型世界:从图像识别到语义理解
- 使用深度学习技术的图像语义分割最新综述
- 图像语义分割(4)- DeepLab_v1
- [置顶] 【译】DeepLab V2:基于深度卷积网、孔洞算法和全连接CRFs的语义图像分割
- 「Deep Learning」语义图像分割模型:DeepLab系统及其发展
- 【图像语义分割】Fully Convolutional Networks for Semantic Segmentation
- 图像分割之(五)活动轮廓模型之Snake模型简介
- 谷歌最新AI产品——AutoML Vision,可以自动设计机器学习模型
- Caffe-Windows + FCN进行图像语义分割
- 文章解析整理:《十分钟看懂图像语义分割技术》
- 图像分割之----活动轮廓模型之Snake模型简介
- 基于水平集方法和G0模型的SAR图像分割
- 深度卷积网络CCN与图像语义分割
- FCN图像语义分割