读论文《The perceptron: A probabilistic model for information storage and organization in the brain》

读论文《The perceptron: A probabilistic model for information storage and organization in the brain》

标签（空格分隔）： 论文

文章地址：http://blog.csdn.net/qq_31456593/article/details/77620799

introduce

这篇论文是神经网络的开山之作，在论文中Rosenblatt提出了感知机（perceptron），为后来对人工神经网络的研究奠定了基础。

在文章开头，作者提出我们要了解智能对知觉识别，泛化，回忆和思考的能力，我们必须首先回答三个基本问题：

1.生物系统如何感知或检测物理世界的信息？
2.以什么形式存储或记住信息？
3.存储或记忆中的信息如何影响识别和行为？

文章关注了第2、3个问题，并认为对于第2个问题，“不管什么信息被保留都必须以某种方式存储为特定响应的偏好;即信息包含在连接或关联中”是最好的解释。

同时作者认为应该把第三个问题的答案与第二个问题的答案相结合：由于所存储的信息采用新的联系形式，或神经系统中的传播渠道，因此，新的刺激将利用已经创建的这些新途径，自动激活适当的响应，而不需要任何单独的过程来进行识别或识别。

作者为解决这两个问题提出了感知机理论，并做出了如下假设：

1． 参与学习和识别的神经系统的身体联系与其它生物体不同。出生时，最重要的网络的建设主要是随机的，同时受到遗传的限制。

2． 连接细胞的原始系统具有一定量的可塑性;经过一段时间的神经活动，由于神经元本身的一些相对持久的变化，应用于一组细胞的刺激将导致某些其他组中的反应的概率可能会改变。

3． 通过暴露于大量的刺激样本，那些最相似的（在某种意义上必须根据特定的物理系统定义）的刺激样本将趋向于形成相同组响应细胞的通路。那些显着“不相似”的人会趋向于建立与不同组响应细胞的连接。

4． 正面和/或负面的强化（或用于此功能的刺激）的应用可能有助于或阻碍当前正在进行的连接的形成。

5． 在这样的系统中，通过相似的刺激激活相同组的细胞的趋势，在这种系统中的相似性被表示在神经系统的某一水平上。相似性不是特定形式或几何类型的刺激的必要属性，而是依赖于感知系统的物理组织，该组织是通过与给定环境的交互而发展的。系统的结构以及刺激环境的生态学将会影响并将在很大程度上决定感性世界所分为的“事物”的类别。

method

作者模仿光学感知的神经元构造感知机



改感知机的结构描述如下：

1、刺激发生在感觉单位（S点）的视网膜上，在这个模型中，刺激是一种all-or-nothing，即只有有刺激和没刺激两种情况，而不考虑频率和强度.

2、刺激被传输到一组的关联单元（A单元）在投影区域（A1）。在某些模型中可以省略该投影区域，而直接连接到关联区域（A2）。投影区域中的单元每个从感觉点接收多个连接。将刺激发送到特定A单元的一组点将被称为该A单元的原点。这些原点可能是对A单位的兴奋性或抑制作用。如果兴奋性和抑制性脉冲强度的代数和等于或大于A单位的阈值，那么A单元将被激活。

3.在投影区域和关联区域（A2）之间，假设连接是随机的。也就是说，A2单元集中的每个单元从Ai集中的原点接收一些数量的连接，但是这些原点在整个投影区域随机散射。除了连接分配外，激活规则和A1单元一样。

4、“响应”单元，RI，R2，Rn是与A单元大致相同的方式对应的单元（或单元组）。每个响应在A2集合中具有大量的原点位于随机的位置。将脉冲发送到特定响应的一组A单元将被称为该响应的源集合。到A2之前，所有连接只有前进的发现。而在A2和R单元之间，连接建立在两个方向。在大多数感知器模型中，管理反馈连接的规则可以是以下替代方案：

（a）每个响应都具有与其自身源集合中的信元的兴奋反馈连接

（b）每个响应具有抑制反馈连接到其自己的源集合的补集（即，它倾向于禁止不传播给它的任何关联细胞中的活动）。

这些规则中的第一个在解剖学上似乎更合理，然而，替代规则（b）导致更容易分析的系统，所以文中将它作为系统规则。

由于本次阅读论文主要是了解神经网络的起源和感知机的结构，后面的参数分析和实验没有看，后面有机会看了在进行补充

my view

阅读了论文后发现，现在神经网络的结构和相关概念，都可以在文中找到原型，比如通过连接学习知识，并分配相应比重；利用神经元激活传递信号等等。

虽然其中的感知机还比较简陋，但对网络结构的分析和设计至今仍有很大的启发性。比如那个投影层，感觉它可以代表卷积神经网络的卷积层或是神经网络语言模型的词嵌入获取层。或许我们就可以把它当作特征表示的网络层。

参考文献

《The perceptron: A probabilistic model for information storage and organization in the brain》