无需在数据集上学习和预训练，这种图像修复新方法效果惊人 | 论文

林鳞 编译自 Github

量子位 出品 | 公众号 QbitAI

Reddit上又炸了，原因是一个无需在数据集上学习和预训练就可以超分辨率、修补和去噪的方法：Deep image prior。

帖子的博主是俄罗斯斯科尔科沃科技研究院（Skoltech）的博士生Dmitry Ulyanov，他介绍了与两名导师 Victor Lempitsky和Andrea Vedaldi共同完成的论文《Deep Image Prior》。

效果惊人

在项目主页上，我们看到了Deep image prior惊人的修复结果。



在这些示例中，研究人员用深度神经网络分析了几个图像恢复问题。值得注意的是，研究人员从来没用数据集来训练或预先训练过它们，而是作为一个结构化的图像整体。

其中蜗牛图的恢复为典型的JPEG压缩图像的盲修复问题，通过不断迭代,这种新方法可以恢复大部分信息同时消除色圈和块效应。



在4x图像超分辨率的演示中我们发现，新方法从使用过任何一张低分辨率的图像，但却生成了更清晰的结果。




[b]△ 4x图像超分辨率结果[/b]

在区域修补示例中，尽管没有学习，但新方法可以成功修复大块区域，在这种操作中，超参数的选择很重要。




[b]△ 区域修补结果[/b]

此外，研究人员还与Shepard网络了卷积稀疏编码的效果对比，对比一看，还是新方法的效果更好。




[b]△ 上部分为与Shepard网络的对比，下部分为与卷积稀疏编码的对比[/b]

论文摘要

深度卷积网络已然成为图像生成和修复最流行的工具。因为它们能从大量示例图像中学习真实的图像先验（image prior），因此在处理图像时效果显著。

与上述思路相反，在这篇文章中，研究人员表明，生成网络能够在开始任何学习前捕获大量low-level的图像统计信息。为了证明这一点，研究人员还展示了一个随机初始化的神经网络可以作为一个手工先验（handcraft prior）,在去噪、超分辨率、图像修复等标准的逆问题上效果很好。

此外，同样的先验可以用来反推深度神经表征进行诊断，并根据输入闪光/无闪光图像对恢复图像。

参考资料

其实，在项目首页上还有更多好玩的对比示例，地址为：
https://dmitryulyanov.github.io/deep_image_prior
论文地址:
https://sites.skoltech.ru/app/data/uploads/sites/25/2017/11/deep_image_prior.pdf
补充材料：
https://box.skoltech.ru/index.php/s/ib52BOoV58ztuPM#pdfviewer
代码地址：
https://github.com/DmitryUlyanov/deep-image-prior/blob/master/README.md — 完 —

活动推荐




△ 点击图片或阅读原文

即可报名和获取更多详情

联想全国高校AI精英挑战赛，面向全国征集优秀AI相关领域技术与应用。此次将在全国8大赛区、260所高校开启项目收集和沟通评判，最终入围总决赛的8支参赛队伍，将获得联想创投投资。

活动报名

旷视研究院深度解读COCO 2017物体检测夺冠算法

嘉宾：竞赛主力队员、论文一作，旷视研究院研究员彭超

时间：12月6日（周三）晚19:30-20:30

形式：线上直播+微信群互动

添加量子位小助手4：qbitbot4，备注“吃瓜社”，通过后即可入群参与活动
诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。


量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态