神经网络学习笔记

神经网络学习笔记

感知器

感知器学习神经元，电位超过阖值触发，是神经元的简易数学模型。

传统计算机0、1表示，基于电位模数转换，与神经元类似。计算机基于0，1可实现人脑部分功能，是否就基于此。

根据电位阖值来区分不同状态是否是一个智能的基本物理原则。

智能最低端是应激反应，应激反应是否就是来自于电位阖值。

所有智能体的最本质能力是否就是应激反应，或者说是–决策。

高级智能由低级决策决定，是否可以由决策（用阖值区分响应动作）生成高级智能。

应激或决策需要外界信息，外界信息是否就是感知器输入。

信息由重要等级之分，感知机的权重概念是否就可以解决这个问题。

感知器可以实现逻辑门，所以可以实现计算机的所有功能。

逻辑门是一种数学模型，它用来解释思维与逻辑，但它是最本质的吗，或是说，感知器才是最本质的，感知器是智能的本质。

相对与逻辑门的计算机，感知器可以自学习参数，而传统计算机不行，所以传统计算机只是按人类指令运行的工具，而感知器却可以真正产生智能，因为它可以学习！

S型神经元

感知器是是与非的绝对判断，所以无法看到权重微小变化的改变是好或坏，无法进行学习，所以我要得到的是概率，而不是绝对是非

实际世界也是如此，没有绝对的东西，本质的东西只能决定概率，真正的发生基于概率又伴有随机性。（是否可以在神经元中引入随机性，以避免受限于自己习惯）

概率的引进使我们看到了学习的效果，我们可以知道该怎么更好的学习。现实中我们就是不断的尝试，并根据反馈不断调整学习。

适者生存就是自然界的自动调参

传统编程，自己制定规则；机器学习，自己学习规则。

神经网络结构

隐藏层用于学习特征。感知机基于偏置进行决策，s神经元引入了概率，但不变的是最后的输出来自每一步的决策，在调整决策使输出更好的过程中，改变的是决策的依据，是用于判断决策的特征。

层数越多，决策越多，依据的特征越细。

每层神经元越多，供决策的特征越多，决策的方向更多。

梯度下降

损失函数,采取原决策的损失，怎么调整规则使损失减少。



按各个参数梯度的反方向减小损失



只考虑一个



考虑食欲



随机梯度下降，随机取m个，每次只算一个。