神经网络

神经网络的权重矩阵   控制** j** 层到 j+1层 的函数映射关系。
如果j层有   个元素，j+1层有   个元素，则   将会是一个 的矩阵


 = “activation” of unit i in layer j 。 第 j 层的第i个激活函数

 表示不同的 下，从x到y的映射。 x是输入层，y是输出层。


 注意左边是吴恩达的写法，有的人会写成

Backpropagation Algorithm用到的误差
表示第L层（小写）的第j个节点的误差
表示第L层（小写）的第j个节点的激活值
以上两个表达式的关系如下图所示：图中的L=4


上图也可以写成向量的形式，不用下标：