1.Fully Connected Layer

标记方法

• aila_i^lail​：第lll层的第iii个神经元，将同一层的aila_i^lail​串在一起形成的向量表示为ala^lal
  
• WijlW_{ij}^lWijl​：即l-1层和l层相连的权重，其中i表示l层连接的神经元，其中j表示l-1层连接的神经元
  
• zilz_i^lzil​：第lll层的第iii个神经元的激活函数的输入
  
  

2.Recurrent Structure（同样结构反复使用）

LSTM结构

GRU(Gate Recurrent Unit)：与LSTM相比，该结构用的三个矩阵(LSTM用四个)，参数少些 不容易过拟合

（1）将ht−1h^{t-1}ht−1、xtx^txt并在一起,乘矩阵(蓝色粗箭头表示)再通过激活函数得到r(reset−gate)r(reset-gate)r(reset−gate)、z(upset−gate)z(upset-gate)z(upset−gate)
（2）将ht−1h^{t-1}ht−1和rrr进行元素相乘得到新矩阵，将该矩阵和xtx^txt并在一起,乘矩阵(黄色粗箭头表示)再通过激活函数得到h′h'h′
（3）将ht−1h^{t-1}ht−1和zzz进行元素相乘，将h′h'h′和1−z1-z1−z进行元素相乘，再相加得到hth^tht
（4）hth^tht乘另一个矩阵得到yty^tyt

Stack RNN
注：push即将该信息放入现在输入的最前方；pop即将最上方的值丢掉；nothing即什么都没有做