深度学习5:python实现三层神经网络
2017-11-28 11:24
761 查看
今天实现一个三层的神经网络,网络模型如下图:
该网络的实现源码:(编译环境:Jupyter Notebook pyton3)
import numpy as np
#定义一个激活函数
如果你能够看懂上面这些代码,那么恭喜你已经理解了前向传播和反向传播的原理。
(1)部分代码演示:
(2)关于激活函数,sigmoid函数:
Sigmoid函数是一个在生物学中常见的S型的函数,也称为S型生长曲线。 由于其单增以及反函数单增等性质,Sigmoid函数常被用作神经网络的阈值函数,将变量映射到0,1之间。因为它的非线性映射关系,因此也常用作激活函数:
定义激活函数代码中:
def sigmoid(X, deriv = False):
if(deriv == True):
return X*(1-X)
return 1/(1+ np.exp(-X))
deriv为True时,就是sigmoid函数的导数,反向传播的时候调用。
(3)网络模型反向传播
反向传播时,Y-L2就是代码中的误差l2_error,根据导数链式法则l2_error*sigmoid函数的导数,就是反向传播到第一个sig园圈后的误差值。经历第一个sig圆圈后,再往回传就是w1*x,其导数值为x,所以l1_error等于l2_delta.dot(w1.T)。l1_error到l1_delta原理同右边第一个sig圆圈。
运行结果:
更多更好文章,欢迎关注公众号:深圳程序媛(updatedaybyday)
该网络的实现源码:(编译环境:Jupyter Notebook pyton3)
import numpy as np
#定义一个激活函数
def sigmoid(X, deriv = False): if(deriv == True): return X*(1-X) return 1/(1+ np.exp(-X)) #构造数据集 x = np.array([[0,0,1], [0,1,1], [1,0,1], [1,1,1], [0,0,1]]) print(x.shape) y = np.array([[0],[1],[1],[0],[0]]) print(y.shape) #指定随机的种子,每次运行产生相同数据 np.random.seed(1) #L0有三个特征,L1有4个神经元,所以w0为3行4列,取值范围(-1,1) w0 = 2*np.random.random((3,4))-1 w1 = 2*np.random.random((4,1))-1 print(w0) #神经网络模型构造及训练 for j in range(1000001): #L0层 l0 = x #前向传播,计算后l1为5行4列 l1 = sigmoid(np.dot(l0,w0)) #前向传播,计算后l2为5行1列 l2 = sigmoid(np.dot(l1,w1)) #计算预测值与标签的差异值 l2_error = y - l2 if(j %100000)==0: print('Error'+str(np.mean(np.abs(l2_error)))) print(j) #方向传播,计算梯度值 #如l2_error很大,则需要大力度更新;如果l2_error很小,则只需要更新一点点 #所以导数乘以l2_error, *为连个5行一列的矩阵对应位置相乘 l2_delta = l2_error * sigmoid(l2, deriv=True) #l2_delta5行1列,w14行1列, l1_error = l2_delta.dot(w1.T) l1_delta = l1_error * sigmoid(l1, deriv=True) #更新参数 #l15行4列,l2_delta5行1列,w1为4行一列 w1 += l1.T.dot(l2_delta) #l05行3列,l2_delta5行4列,w0为3行4列 w0 += l0.T.dot(l1_delta)
如果你能够看懂上面这些代码,那么恭喜你已经理解了前向传播和反向传播的原理。
(1)部分代码演示:
(2)关于激活函数,sigmoid函数:
Sigmoid函数是一个在生物学中常见的S型的函数,也称为S型生长曲线。 由于其单增以及反函数单增等性质,Sigmoid函数常被用作神经网络的阈值函数,将变量映射到0,1之间。因为它的非线性映射关系,因此也常用作激活函数:
定义激活函数代码中:
def sigmoid(X, deriv = False):
if(deriv == True):
return X*(1-X)
return 1/(1+ np.exp(-X))
deriv为True时,就是sigmoid函数的导数,反向传播的时候调用。
(3)网络模型反向传播
反向传播时,Y-L2就是代码中的误差l2_error,根据导数链式法则l2_error*sigmoid函数的导数,就是反向传播到第一个sig园圈后的误差值。经历第一个sig圆圈后,再往回传就是w1*x,其导数值为x,所以l1_error等于l2_delta.dot(w1.T)。l1_error到l1_delta原理同右边第一个sig圆圈。
运行结果:
更多更好文章,欢迎关注公众号:深圳程序媛(updatedaybyday)
相关文章推荐
- [置顶] 【深度学习】RNN循环神经网络Python简单实现
- 吴恩达 深度学习第三周 浅层神经网络 logistic_regression python代码实现
- 神经网络与深度学习笔记(二)python 实现随机梯度下降
- 【深度学习】1.2:简单神经网络的python实现
- Python实现深度学习之-神经网络识别手写数字(更新中,更新日期:2017-07-12)
- 神经网络与深度学习 1.6 使用Python实现基于梯度下降算法的神经网络和MNIST数据集的手写数字分类程序
- 深度学习与神经网络-吴恩达(Part1Week4)-深度神经网络编程实现(python)-基础篇
- 【Python开发】【神经网络与深度学习】网络爬虫之python实现
- 深度学习论文-神经网络的代码实现(python版本)
- 深度学习第一课 第四周 深层神经网络用python的实现
- 深度学习与神经网络-吴恩达(Part1Week3)-单隐层神经网络编程实现(python)
- 神经网络与深度学习 使用Python实现基于梯度下降算法的神经网络和自制仿MNIST数据集的手写数字分类可视化程序 web版本
- [action] deep learning 深度学习 tensorflow 实战(2) 实现简单神经网络以及随机梯度下降算法S.G.D
- 【Python开发】【神经网络与深度学习】如何利用Python写简单网络爬虫
- TensorFlow 深度学习笔记 TensorFlow实现与优化深度神经网络
- TensorFlow 深度学习笔记 TensorFlow实现与优化深度神经网络
- 深度学习之卷积神经网络编程实现(二)
- TensorFlow 深度学习笔记 TensorFlow实现与优化深度神经网络
- 深度学习与计算机视觉系列(9)_串一串神经网络之动手实现小例子
- TensorFlow深度学习笔记 实现与优化深度神经网络