深度学习系列——关于神经网络理解的总结

　　因为课题的需要，最近在学习深度学习方面的知识，因为是初学，博文中可能会有错误和不严谨的地方，欢迎大家批评指正、互相交流，好了言归正传。

　　目前在人工智能和大数据方向炒的最火的就是深度学习，深度学习是神经网络的一个大的分支，深度学习的基本结构是深度神经网络，它是一种人工神经网络，人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。

　　人脑大约由100亿个神经元组成，而其中的每个神经元又与约100～10000个其他神经元相连接，如此构成一个庞大而复杂的神经元网络。

　　我们在学习、思考和识别事物时，简单来说就是一个线路连接问题。我们能做的每一件事、能记住的事、都是很多神经细胞连接起来以后产生的结果，我们刚出生的时候，这种连接很少，其中很多都是本能，接下来我们会经历人生的很多第一次，有的行为会不断的重复，在这期间，我们的大脑会不断的工作，神经元形成无数条链接。

　　这些链接是怎样形成的呢？是在不断与外界信息交互的作用过程中，在大脑的内部形成的，大脑的学习过程包括信息输入、模式加工和动作输出。

　　信息输入是指外界环境中的刺激作用于人的感觉器官之后，感受器将外部刺激转化为神经冲动传向大脑，并给大脑带来信息，供大脑进行加工。这里可以类比开始我们需要送给深度神经网络的数据，比如图像信息，有可能还需要做一定的处理，resize 、去均值、归一化、PCA等。只不过我们的大脑能够自动处理这些输入的信息。

　　模式加工是在信息输入的基础上，我们的感觉进入大脑内部的不同处理中心，在处理中心对信息进行分析和模式识别，然后编译存储到脑内相应的记忆区。不如第一次看到狗，大脑的视觉皮层至少有30个不同的区域会参与到这个过程中去，每一块区域负责处理一个图像的一个方面，比如皮毛、尾巴、面部特征和动作等，（这里可以类比卷积神经网络中的不同的卷积核提取不同的feature map ,每一个feature map 观测不同的图像信息）这些综合起来形成一副完整的图像存储到到大脑的记忆中。

　　之后，我们在看到狗的时候这个神经网络就会被加强，每一块处理区域之间的连接变得更稳定更高效，可能我们会看到很多种类的狗狗，每次接受的新的种类的信息，我们都会重复该模式，（这里有点类似我们选用一类物体的很多图片，它们的颜色、体型等不同，去训练一个神经网络，是我们的网络识别效果更好）我们的大脑就会存储更多的信息模式，在见到狗狗的时候能够很快速准确的判断是狗狗。

　　动作输出是大脑根据上面学习到的模型，在处理新的输入信息的时候会产生一系列的信号，送给其他的神经元比如运动神经元做出相应的动作。

　　神经网络的基本组成单位是神经元，即神经细胞。

　　神经元是大脑处理信息的基本单元，它的结构下图所示。它是以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。

　　


　　

　　神经元具有两个最主要的特性，即兴奋性和传导性。神经元的兴奋性是指当刺激强度未达到某一阈值（阈值的概念为人工神经元模仿提供了理论的依据，传输函数中大多数函数都是依据此原则输入输出的）神经冲动不会发生，而当刺激达到该该值的时候，神经冲动发生并能瞬时达到最大的强度，此后刺激强度即使继续加强或减弱，已诱发冲动的强度也不会改变，通过了解神经元的构造可以推出传输函数的数学构成。

　　人们通过长期的研究，进一步探明了大脑皮层是由许多不同的功能区构成的。例如，有的区专门负责运动控制，有的区专门负责听觉，有的区专门负责视觉等。在每个功能区中，又包含许多负责某一具体功能的神经元群。例如，在视觉神经区，存在着只对光线方向性产生反应的神经元。更进一步细分，某一层神经元仅对水平光线产生响应，而另一层神经元只对垂直光线产生反应。需要特别指出的是，大脑皮层的这种区域性结构，虽然是由人的遗传特性所决定的，是先天性的，但各区域所具有的功能大部分是人在后天通过对环境的适应和学习而得来的。神经元的这种特性称为自组织(Self—Organization)特性。所谓自组织，即神经元的学习过程，完全是一种自我学习的过程，不存在外部教师的示教。（对应着深度神经网络能够自主的学习连接和权重参数）还应指出，神经元的这种自组织特性来自于神经网络结构的可塑性，即神经元之间相互连接的突触随着动作电位脉冲激励方式与强度的变化，其传递电位的作用可增加或减弱，神经元之间的突触连接是柔性的、可塑的。

　　还应指出，功能的分区定位并不是机械的一对一关系。许多功能，特别是高级思维功能，通常都可以分为若干子功能块，这些子功能块存在并行关系。对于一个特定功能的神经加工往往是在大脑皮层的许多部位分布式进行的。正因为如此，某一部位的损伤才不至于导致整个功能的丧失。

　　通过对上面的总结，我们能更好的、更深入的了解神经网络构成，以及对如何构建人工神经网络的启发。