深度学习相关资料总结

深度学习相关资料总结

2014-09-30 19:43 本站整理 浏览(65)

注：本文转自邹宇华的博文《深度学习相关资料总结》

近这两年里deep learning技术在图像识别和跟踪等方面有很大的突破，是一大研究热点，里面涉及的数学理论和应用技术很值得深入研究，这里总结一些在微博发布和转载的相关资料，以便查阅：

一、

@winsty

NIPS2013# “Learning A Deep Compact Image Representation for Visual Tracking” 第一次结合deep learning和visual tracking的尝试，在GPU下可以在MATLAB里realtime，结果可以和state-of-the-art相比，还在等什么呢？小伙伴们请猛戳project page(有code!)：

http://t.cn/zRakSQu

@丕子

Yoshua Bengio gave a recent presentation on “Deep Learning of Representation” and Generative Stochastic Networks (GSNs) at MSR and AAAI 2013. Slides of the talk can be accessed from this link. http://t.cn/zQI3EI1

二、

@邹宇华

从CVPR2013看计算机视觉研究的三个趋势：1.RGBD数据的分析；2.中层patch的分析；3.深度学习与特征学习

| bfcat-计算机视觉博客http://t.cn/zQhiySm

@邹宇华

Andrew Ng 研究组在NIPS’2012的论文就融合了上一条微博所述的三种趋势，用深度学习技术分析RGBD数据，实现三维物体分类。Convolutional-Recursive Deep Learning For 3D Object Classification -

www.socher.org

http://t.cn/zQzQqut

三、

@图像视觉研究

PAMI的Special Section on Learning Deep Architectures终于出来了，2013年的第8期

http://t.cn/zHuYhzw 。一共7篇DL相关的文章，第一篇就是Representation Learning: A Review and New Perspectives 。Early Access里面还有好几篇DL文章不在这一期。

四、

@数据挖掘_PHP

【Deep Learning 相关资料汇总】1、DL能干什么>> http://t.cn/zY75Wsz 2、A tutorial on Deep Learning>>

http://t.cn/zOyNTu

@张杰_NoahArk

这个是实战, 如何用Python实现深度学习

http://t.cn/SVDKZh Code

http://t.cn/zYUtj3G Survey Papers很多，不过初学看这两篇应该就够了 Representation Learning: A Review and New Perspectives （2012）， Learning Deep Architectures for AI. (2009).

五、

@邹宇华

这里也有一个非常赞的Deep Learning学习笔记系列，博主结合Andrew Ng的教程来写，而且把教程每一部分的练习都做了一遍，目前已经写到第23篇了，佩服！

Deeplearning：一(基础知识_1) - tornadomeet - 博客园

http://t.cn/zYBHy0p

六、

@邹宇华

整理得很不错的Deep Learning学习笔记，推荐！ Deep Learning（深度学习）学习笔记整理系列之（一） - zouxy09的专栏 - 博客频道 - CSDN.NET

http://t.cn/zTGh2Ts

七、

@李岩ICT人脸识别

A good summary of Deep Learning at NIPS2012.

http://t.cn/zj8L6WF

@邹宇华

不在北京的同学可以看看Andrew在NIPS 2012的同名报告，这里还有个100多页的ppt

http://t.cn/zYFa89k 。 Machine Learning and AI via Brain simulations | TechTalks.tv

http://t.cn/zjD7lK4

八、

@邹宇华

Scaling Deep Learning by Jeff Dean in ICML’2012 | TechTalks.tv

http://t.cn/zW1L7pd

九、

@邹宇华

Many useful links about Deep Learning in this blog - Notes from BayLearn 2012

http://t.cn/zTvuToC

十、

@Mr-Pandaria

DeepLearning的入门还是看Yoshua Bengio的综述文章就好了， 今年十月有一篇新的综述，

http://t.cn/zW18qVs

。我只看了十几页，读起来很舒服，写的还比较诚恳， 承认了deep learning中很多不足和尚未解决的问题。

十一、

@邹宇华

Invited talk “A Tutorial on Deep Learning” by Dr. Kai Yu (余凯) http://t.cn/zjff9nE

十二、

@微软亚洲研究院

通过实验验证，Andrew Ng斯坦福大学研究团队开发的深度学习算法准确度为19.2%，远远高于随机预测(0.005%)或者state-of-art方法(9.5%)。【Andrew

Ng主题演讲：深度学习】Andrew Ng在微软教育峰会分享Deep

Learning核心思想：把学习框架看作一个层级式网络，可以根据如下程序进行训练1)用无监督学习为每层网络训练2)前者训练结果作为更高一层的输入3)用监督学习调整全部层级，模拟人脑分析学习。Slides下载>>

|andrew-ng_machinelearning.pdf http://t.cn/zQNKJgF

十三、

@鲍捷AI

Kevin Duh关于深度学习的这两个教程不错，面带到了，深度适当，比较好懂．Deep Learning: An Introduction

from the NLP Perspective，http://t.cn/zH3TzZ2 。Recent Advances in Deep Learning， http://t.cn/zH3TzZL 。

十四、

@王威廉

发现微软雷德蒙研究院语音组大牛邓力和俞栋研究员今年初写了一本《信号及信息处理的深度学习方法》来总结一些深度学习的最新进展，一共才100页不到，很容易就能读完。本书总结了深度学习各种trick，算是关于深度学习最新的教材了，而且非常适合做语音的同学阅读。下载地址：http://t.cn/zQv3gM2

十五、

//@陈利人:深度挖掘深度学习。//@vinW:

原来还可以更古老//@老师木: Fukushima

的 neocognitron 更早，不过只是描述了how，我认为

linsker 在 88年左右的工作揭示了

why //@Hyperddr: 我上次转的那篇论文是98年的，这个好像更老。。不过@老师木 转的那篇是88年的, 全都是deep

learning的起源。

@vinW

话说机器学习界在深挖深度学习时，大多被1996年《自然》杂志上一篇牛文给震到。因为它直指深度学习的核心之一：稀疏编码。这挺像武侠江湖，你从藏经洞里找到的上古秘笈永远是最牛的 论文：http://t.cn/zHK5iNg 代码 http://t.cn/zHK5iNd

十六、

@余凯_西二旗民工:同推荐。这是去年夏天在加州大学洛杉矶分校的summer

school.的确深度学习的主要人物都参加了。上面的讲义全面覆盖了深度学习的各个方面。

@cswhjiang

http://t.cn/zWyVo2h IPAM Summer School on Deep Learning and Feature Learning的视频（有如下大牛：Geoffrey

Hinton, Yann LeCun, Yoshua Bengio, Andrew Ng, Stephen Wright, Kai Yu@余凯_西二旗民工 等..）