深度学习应用整理
2016-11-17 15:03
399 查看
Deep Neural Netword 由Geoffrey E. Hinton 在06年提出后,效果不是很理想,直到近2年人们发现使用大量的数据去训练得到的模型能取得很好的效果。
深度学习的应用参考知乎:https://www.zhihu.com/question/47563637
深度学习tutorial:https://github.com/sjchoi86/dl_tutorials
图像识别(分类问题)
输入图像为: 32×32×3 。 长32像素,宽32像素,RGB3种通道
表示为一个列向量: [x1,x2,x3,...,x3072]T
KNN(慢,准确率低):先使用CNN得到特征映射,再用KNN
线性分类器: f(x,W) = W x + b #也可以写为 f = Wx, x=[1,x1,x2,x3,...,x3072]T,直接做矩阵乘法,不用加法
10×1 10×3072 3072×1 10×1
总共10个类
预处理: 去中心化:所有像素点减去像素点的均值(RGB三种颜色值都加在一起/也可以三种分别做均值,把输入数据各个维度都中心化到0,测试集也要减去训练数据得出的均值)。
图像通常不做scaling,取值范围在[0,255]
PCA降维:特征之间去相关,提取主成分
物体定位(回归问题)
输出是(x,y,w,h)
更细致的识别
提前定好有几个组成部分,训练,
Neural Style
具体原理查看论文:http://arxiv.org/pdf/1508.06576v2.pdf
博文:https://github.com/anishathalye/neural-style
博文:http://blog.csdn.net/shenxiaolu1984/article/details/52090012
卷积层 pooling 全连接
content-Loss: 评估内容相似:两张图片(原始图片和目标输出照片,初始化可以是原来照片也可以是style照片或者随机等)送入神经网络,卷积层输出的L2 loss。
输入两张图片,一张style picture,一张随机初始化。大小要相同。
style-Loss: gram metrics,不同神经元(feature map224*224,64个神经元)转化为向量64*(224*224),向量之间点乘。一个神经元要和其他64个神经元点乘,会得到64*64的矩阵。两张图片做点差,求Loss。
最后两个网络合成:
由于网络的结构是使用的训练好的model,作为参数优化的是也是一副图像。从公式中可以看出,总共是有3个卷积网络。
自动按照画风绘画: https://github.com/fzliu/style-transfer,
在git中搜索artistic style,或者neural artistic style,还会搜到artistic-videos项目。
自动创造诗:RNN,http://weibo.com/p/1001603850614961505585
自动创造音乐: http://www.cnblogs.com/charlotte77/p/5664523.html
git clone https://github.com/tensorflow/magenta.git
已经训练好的网络model包括AlexNet和VGG等。
AlexNet
论文:http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf
在imagenet上的图像分类challenge上Alex提出的alexnet网络结构模型赢得了2012届的冠军。要研究CNN类型DL网络模型在图像分类上的应用,就逃不开研究alexnet,这是CNN在图像分类上的经典模型(DL火起来之后)。
VGG net
在ImageNet Challenge 2014中获得第一,该网络在其他数据集上也能取得较好的效果。很多图像相关的项目都使用了vgg net。
vgg net paper: https://arxiv.org/pdf/1409.1556.pdf
vgg net application: http://glacier.iego.net/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%88%9D%E7%AA%A5-vgg19%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/
雅虎开源的色情图片检测:
https://github.com/yahoo/open_nsfw
人脸识别on Tensorflow- FaceNet:
https://github.com/davidsandberg/facenet
DQN玩flappyBird:
MxNet: https://github.com/li-haoran/DRL-FlappyBird
TensorFlow:
https://github.com/yenchenlin/DeepLearningFlappyBird
https://github.com/songrotek/DRL-FlappyBird
聊天机器人的训练语料:https://github.com/rustch3n/dgk_lost_conv
(电影)
DeepQA(English):
https://github.com/Conchylicultor/DeepQA
seq2seq聊天机器人:https://github.com/nicolas-ivanov/tf_seq2seq_chatbot (lstm
on tensorflow)
https://github.com/inikdom/neural-chatbot
构建自己的聊天机器人(中文,NLTK):chatterbot:https://github.com/gunthercox/ChatterBot,
http://blog.just4fun.site/create-a-smart-chat-bot.html
MXNet在OCR的应用:https://zhuanlan.zhihu.com/p/21344595 (把图片上的文字转化为文本的过程),github:https://github.com/lan2720/cnn-for-captcha
基于MXNet的汽车车牌号识别:
https://github.com/imistyrain/mxnet-oneclick, 从图像中提取车牌号:https://zhuanlan.zhihu.com/p/21749729
欢迎大家留言补充。
深度学习的应用参考知乎:https://www.zhihu.com/question/47563637
深度学习tutorial:https://github.com/sjchoi86/dl_tutorials
图像识别(分类问题)
输入图像为: 32×32×3 。 长32像素,宽32像素,RGB3种通道
表示为一个列向量: [x1,x2,x3,...,x3072]T
KNN(慢,准确率低):先使用CNN得到特征映射,再用KNN
线性分类器: f(x,W) = W x + b #也可以写为 f = Wx, x=[1,x1,x2,x3,...,x3072]T,直接做矩阵乘法,不用加法
10×1 10×3072 3072×1 10×1
总共10个类
预处理: 去中心化:所有像素点减去像素点的均值(RGB三种颜色值都加在一起/也可以三种分别做均值,把输入数据各个维度都中心化到0,测试集也要减去训练数据得出的均值)。
图像通常不做scaling,取值范围在[0,255]
PCA降维:特征之间去相关,提取主成分
物体定位(回归问题)
输出是(x,y,w,h)
更细致的识别
提前定好有几个组成部分,训练,
Neural Style
具体原理查看论文:http://arxiv.org/pdf/1508.06576v2.pdf
博文:https://github.com/anishathalye/neural-style
博文:http://blog.csdn.net/shenxiaolu1984/article/details/52090012
卷积层 pooling 全连接
content-Loss: 评估内容相似:两张图片(原始图片和目标输出照片,初始化可以是原来照片也可以是style照片或者随机等)送入神经网络,卷积层输出的L2 loss。
输入两张图片,一张style picture,一张随机初始化。大小要相同。
style-Loss: gram metrics,不同神经元(feature map224*224,64个神经元)转化为向量64*(224*224),向量之间点乘。一个神经元要和其他64个神经元点乘,会得到64*64的矩阵。两张图片做点差,求Loss。
最后两个网络合成:
由于网络的结构是使用的训练好的model,作为参数优化的是也是一副图像。从公式中可以看出,总共是有3个卷积网络。
自动按照画风绘画: https://github.com/fzliu/style-transfer,
在git中搜索artistic style,或者neural artistic style,还会搜到artistic-videos项目。
自动创造诗:RNN,http://weibo.com/p/1001603850614961505585
自动创造音乐: http://www.cnblogs.com/charlotte77/p/5664523.html
git clone https://github.com/tensorflow/magenta.git
已经训练好的网络model包括AlexNet和VGG等。
AlexNet
论文:http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf
在imagenet上的图像分类challenge上Alex提出的alexnet网络结构模型赢得了2012届的冠军。要研究CNN类型DL网络模型在图像分类上的应用,就逃不开研究alexnet,这是CNN在图像分类上的经典模型(DL火起来之后)。
VGG net
在ImageNet Challenge 2014中获得第一,该网络在其他数据集上也能取得较好的效果。很多图像相关的项目都使用了vgg net。
vgg net paper: https://arxiv.org/pdf/1409.1556.pdf
vgg net application: http://glacier.iego.net/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%88%9D%E7%AA%A5-vgg19%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/
雅虎开源的色情图片检测:
https://github.com/yahoo/open_nsfw
人脸识别on Tensorflow- FaceNet:
https://github.com/davidsandberg/facenet
DQN玩flappyBird:
MxNet: https://github.com/li-haoran/DRL-FlappyBird
TensorFlow:
https://github.com/yenchenlin/DeepLearningFlappyBird
https://github.com/songrotek/DRL-FlappyBird
聊天机器人的训练语料:https://github.com/rustch3n/dgk_lost_conv
(电影)
DeepQA(English):
https://github.com/Conchylicultor/DeepQA
seq2seq聊天机器人:https://github.com/nicolas-ivanov/tf_seq2seq_chatbot (lstm
on tensorflow)
https://github.com/inikdom/neural-chatbot
构建自己的聊天机器人(中文,NLTK):chatterbot:https://github.com/gunthercox/ChatterBot,
http://blog.just4fun.site/create-a-smart-chat-bot.html
MXNet在OCR的应用:https://zhuanlan.zhihu.com/p/21344595 (把图片上的文字转化为文本的过程),github:https://github.com/lan2720/cnn-for-captcha
基于MXNet的汽车车牌号识别:
https://github.com/imistyrain/mxnet-oneclick, 从图像中提取车牌号:https://zhuanlan.zhihu.com/p/21749729
欢迎大家留言补充。
相关文章推荐
- 126篇殿堂级深度学习论文分类整理 从入门到应用(上)
- 深度学习应用资源整理
- (zhuan) 126 篇殿堂级深度学习论文分类整理 从入门到应用
- 126篇殿堂级深度学习论文分类整理 从入门到应用(下)
- 深度学习在目标跟踪中应用的资料整理
- 深度学习应用场景整理
- 126篇殿堂级深度学习论文分类整理从入门到应用
- Deep Learning(深度学习)学习笔记整理系列之(一)
- 韩顺平_php从入门到精通_视频教程_第14讲_盒子模型经典应用②_作业布置_学习笔记_源代码图解_PPT文档整理
- Android源码学习之设计模式应用小整理
- Deep Learning(深度学习)学习笔记整理系列之(八)
- Deep Learning(深度学习)学习笔记整理系列之(七)
- Deep Learning(深度学习)学习笔记整理系列之(八)
- 重新整理后的Oracle OAF学习笔记——3.应用构建基础之实现模型
- Deep Learning(深度学习)学习笔记整理系列之(五)
- Deep Learning(深度学习)学习笔记整理系列之(六)
- Deep Learning(深度学习)学习笔记整理系列之(一)
- 韩顺平_php从入门到精通_视频教程_第13讲_选择器使用细节_块元素和行内元素_盒子模型_盒子模型经典应用①_学习笔记_源代码图解_PPT文档整理
- Deep Learning(深度学习)学习笔记整理系列
- Deep Learning(深度学习)学习笔记整理系列之(二)