Deep Learning Specialization课程笔记——深度学习介绍
2018-03-20 14:16
525 查看
第一门课:神经网络和深度学习,会包含四周的课程,将学习如何建立神经网络,包括深度神经网络,以及如何用数据训练它。
在这门课的结尾,将建立一个神经网络识别猫。
what is a neural network?
一张图解释什么是ReLU函数,就像房价预测的曲线是一样的:(同时这张图展示了什么是单个的神经元neuron)
影响房价的不同因素共同决定了housing price:(这时,输入x参数是大小,卧室数量,邮政编码,居住地富裕程度;输出y是价格;而中间的部分就是一个搭建出来的神经网络,这里的每个小圆圈都叫做神经网络的隐藏神经元。)
要注意的是:隐藏层的每个神经元和输入层是全连接的,就像:
由神经网络自己来决定隐藏层的每个神经元实际上和输入层是怎么连接的(真实情况可能和上面的手画图一样)。
Supervised Learning with Neural Networks
在房价预测和在线广告问题上,通常使用standard NN;在图像应用中,通常使用有卷积结构的CNN;在音频这种时序序列化数据中,常用循环结构的RNN;语言,也在序列化数据中有自己的时序,通常使用更复杂的RNN;自动驾驶,有图像内容,通常是更复杂的CNN。
Standard NN, CNN, RNN的示意图:
结构化和非结构化数据的说明:
Why is Deep Learning taking off?
在过去的几十年中,产生了大量的数据。普通机器学习对大数据的处理能力不足:
可以看到,这里的横坐标是amount of data,纵坐标是performance。
可以看出,想要好的performance,需要1.input layer的大量数据;2.神经网络的大量隐藏神经元及大量神经元间的大量连接。
同时也可以看出,在小的数据集上,算法的优劣很难说清(手动选择了好的特征,SVM可能性能优于NN);而在大的数据集上,NN性能碾压了其他ML算法。
所以,深度学习的初期崛起,得益于数据量和计算规模,我们只需在CPU或GPU上训练一个非常大的神经网络,就能有很好的结果。
而近几年的很多算法创新,旨在让神经网络运行的更快。如sigmoid函数到ReLU函数。(激活函数的修改)
原因:在一些区间中,sigmoid函数斜率(梯度)接近0,模型梯度变得很慢,而在ReLU中正值的梯度都为1。
注:此系列的所有截图都来自coursera的《Deep Learning Specialization》课程
在这门课的结尾,将建立一个神经网络识别猫。
what is a neural network?
一张图解释什么是ReLU函数,就像房价预测的曲线是一样的:(同时这张图展示了什么是单个的神经元neuron)
影响房价的不同因素共同决定了housing price:(这时,输入x参数是大小,卧室数量,邮政编码,居住地富裕程度;输出y是价格;而中间的部分就是一个搭建出来的神经网络,这里的每个小圆圈都叫做神经网络的隐藏神经元。)
要注意的是:隐藏层的每个神经元和输入层是全连接的,就像:
由神经网络自己来决定隐藏层的每个神经元实际上和输入层是怎么连接的(真实情况可能和上面的手画图一样)。
Supervised Learning with Neural Networks
在房价预测和在线广告问题上,通常使用standard NN;在图像应用中,通常使用有卷积结构的CNN;在音频这种时序序列化数据中,常用循环结构的RNN;语言,也在序列化数据中有自己的时序,通常使用更复杂的RNN;自动驾驶,有图像内容,通常是更复杂的CNN。
Standard NN, CNN, RNN的示意图:
结构化和非结构化数据的说明:
Why is Deep Learning taking off?
在过去的几十年中,产生了大量的数据。普通机器学习对大数据的处理能力不足:
可以看到,这里的横坐标是amount of data,纵坐标是performance。
可以看出,想要好的performance,需要1.input layer的大量数据;2.神经网络的大量隐藏神经元及大量神经元间的大量连接。
同时也可以看出,在小的数据集上,算法的优劣很难说清(手动选择了好的特征,SVM可能性能优于NN);而在大的数据集上,NN性能碾压了其他ML算法。
所以,深度学习的初期崛起,得益于数据量和计算规模,我们只需在CPU或GPU上训练一个非常大的神经网络,就能有很好的结果。
而近几年的很多算法创新,旨在让神经网络运行的更快。如sigmoid函数到ReLU函数。(激活函数的修改)
原因:在一些区间中,sigmoid函数斜率(梯度)接近0,模型梯度变得很慢,而在ReLU中正值的梯度都为1。
注:此系列的所有截图都来自coursera的《Deep Learning Specialization》课程
相关文章推荐
- 深度学习课程笔记(十八)Deep Reinforcement Learning - Part 1 (17/11/27) Lectured by Yun-Nung Chen @ NTU CSIE
- 深度学习DeepLearning.ai系列课程学习总结:12. 优化算法实战
- [DeeplearningAI笔记]改善深层神经网络1.4_1.8深度学习实用层面_正则化Regularization与改善过拟合
- [DeeplearningAI笔记]改善深层神经网络_深度学习的实用层面1.10_1.12/梯度消失/梯度爆炸/权重初始化
- [note] deep learning tensorflow lecture 2 notes 深度学习笔记 (2) 解决过拟合
- 深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 3:Vectorization
- 李宏毅机器学习课程笔记10:Ensemble、Deep Reinforcement Learning
- 深度学习DeepLearning.ai系列课程学习总结:14. Tensorflow入门
- Joint Deep Learning For Pedestrian Detection(论文笔记-深度学习:行人检测)
- DeepLearning.ai学习笔记(一)神经网络和深度学习--Week4深层神经网络
- 深度学习DeepLearning.ai系列课程学习总结:3. Python矢量化实现神经网络
- [深度学习与计算机视觉] 斯坦福 CS231n 2017 学习笔记 -1 (Lecture 1: Introduction;课程介绍)
- [DeeplearningAI笔记]神经网络与深度学习2.1-2.4神经网络基础
- 深度学习论文笔记-Deep Learning Face Representation from Predicting 10,000 Classes
- [机器学习入门] 李宏毅机器学习笔记-37 (Deep Reinforcement Learning;深度增强学习入门)
- Coursera deeplearning.ai 深度学习笔记2-1-Practical aspects of deep learning-神经网络实际问题分析(初始化&正则化&训练效率)与代码实现
- Fast.ai: Practical Deep Learning for coders 课程学习笔记:Part1 Lesson1 (Lesson0)
- Attention and Memory in Deep Learning and NLP(深度学习和NLP中的注意和记忆机制) 阅读笔记
- 深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 5:Softmax Regression
- Coursera deeplearning.ai 深度学习笔记4-2-Deep Convolutional Models Case Studies-深度卷积模型案例及代码实现