神经网络的历史与理论基础
2009-01-17 17:42
459 查看
神经网络的历史与理论基础
起步:
1943年,心理学家McCulloch和数学家Pitts合作,融汇了生物物理学和数学,提出了第一个神经计算模型:MP模型.
1949年,心理学家Hebb通过对大脑神经细胞、学习和条件反射的观察与研究,提出了改变神经元连接强度的、至今仍有重要意义的Hebb规则.
发展:
1957年,Rosenblatt发展了MP模型,提出了感知器模型:Perceptron Model,给出了两层感知器的收敛定理,并提出了引入隐层处理元件的三层感知器这一重要的研究方向.
1960年,Widrow提出自适应线性元件模型:Ada-line model以及一种有效的网络学习方法:Widrow-Hoff学习规则.
19969年,Grossberg等提出了自适应共振理论模型:ART model,并在若干年后发展出了三个版本.
1972年,Kohonen提出了自组织映射理论模型:SOM Model,称为联想存储器.
1972年,神经心理学家Anderson也提出了一个类似的神经网络结构:BSB,命名为交互存储器.
成熟:
1982年美国加州工学院的物理学家Hopfield提出了一个用于联想记忆和优化计算的新途径——Hopfield网络,使得神经网络的研究有了突破性进展.
1984年在Hopfield的一篇论文中,指出Hopfield网络可以用集成电路实现,很容易被工程技术人员和计算机科技工作者理解,引起工程技术界的普遍关注.
还没有完成的
1:迄今尚没有提出较为完善的神经网络的统一网络模型和通用学习算法;
2:多层网络的层数、隐层神经元的数量、作用函数类型的选择还缺少指导性原则;
3:网络的逼近精度与逼近的非线性映射之间的关系没有任何理论上的说明;
4:动态网络的学习算法及稳定性分析.
神经网络用于控制的优点
1:能够充分毕竟任意复杂度的非线性关系;
2:能够学习与适应严重不确定性系统的动态特性;
3:所有定量或定性的信息都等势分布存储于网络内的各种神经元以及连接权中,故有很强的鲁棒性和容错性;
4:采用并行分布处理方法使得快速进行大量运算成为可能.
对任意给定的函数f(x1,x2,…,xn)和误差进度ε>0,总存在一个三层前向神经网络,其隐层神经元的作用函数为σ(x),输入层、输出层为线性神经元.
网络的总输入-输出关系:Y= f1(x1,x2,…,xn)可以以规定的精度逼近给定的函数f(x1,x2,…,xn).
起步:
1943年,心理学家McCulloch和数学家Pitts合作,融汇了生物物理学和数学,提出了第一个神经计算模型:MP模型.
1949年,心理学家Hebb通过对大脑神经细胞、学习和条件反射的观察与研究,提出了改变神经元连接强度的、至今仍有重要意义的Hebb规则.
发展:
1957年,Rosenblatt发展了MP模型,提出了感知器模型:Perceptron Model,给出了两层感知器的收敛定理,并提出了引入隐层处理元件的三层感知器这一重要的研究方向.
1960年,Widrow提出自适应线性元件模型:Ada-line model以及一种有效的网络学习方法:Widrow-Hoff学习规则.
19969年,Grossberg等提出了自适应共振理论模型:ART model,并在若干年后发展出了三个版本.
1972年,Kohonen提出了自组织映射理论模型:SOM Model,称为联想存储器.
1972年,神经心理学家Anderson也提出了一个类似的神经网络结构:BSB,命名为交互存储器.
成熟:
1982年美国加州工学院的物理学家Hopfield提出了一个用于联想记忆和优化计算的新途径——Hopfield网络,使得神经网络的研究有了突破性进展.
1984年在Hopfield的一篇论文中,指出Hopfield网络可以用集成电路实现,很容易被工程技术人员和计算机科技工作者理解,引起工程技术界的普遍关注.
还没有完成的
1:迄今尚没有提出较为完善的神经网络的统一网络模型和通用学习算法;
2:多层网络的层数、隐层神经元的数量、作用函数类型的选择还缺少指导性原则;
3:网络的逼近精度与逼近的非线性映射之间的关系没有任何理论上的说明;
4:动态网络的学习算法及稳定性分析.
神经网络用于控制的优点
1:能够充分毕竟任意复杂度的非线性关系;
2:能够学习与适应严重不确定性系统的动态特性;
3:所有定量或定性的信息都等势分布存储于网络内的各种神经元以及连接权中,故有很强的鲁棒性和容错性;
4:采用并行分布处理方法使得快速进行大量运算成为可能.
对任意给定的函数f(x1,x2,…,xn)和误差进度ε>0,总存在一个三层前向神经网络,其隐层神经元的作用函数为σ(x),输入层、输出层为线性神经元.
网络的总输入-输出关系:Y= f1(x1,x2,…,xn)可以以规定的精度逼近给定的函数f(x1,x2,…,xn).
相关文章推荐
- 专家系统/模糊理论/神经网络/遗传算法相关基础知识
- 神经网络的理论基础
- 循环神经网络(RNN, Recurrent Neural Networks)学习笔记:基础理论
- 神经网络理论基础及Python实现详解
- 机器学习之深入理解神经网络理论基础、BP算法及其Python实现
- 神经网络基础
- 1.神经网络和深度学习-第一周(概论)与第二周(神经网络基础)
- 吴恩达《深度学习工程师》Part1.Week2 神经网络基础
- Atitit 物联网之道 艾龙著 attilax著 1. 理论基础(控制理论 信息理论) 2 2. 1.5 物联网的关键技术12 2 2.1. 1.5.1 网络与通信技术12 1.5.2 无线传感
- 一个量化的网络游戏基础理论(草稿)——by 小榕^_^
- UFLDL Tutorial深度学习基础——学习总结:稀疏自编码器(一)神经网络(neural networks)
- 《神经网络和深度学习》之神经网络基础(第二周)课后作业——Python与Numpy基础知识
- 深度学习-神经网络 历史
- 吴恩达深度学习入门学习笔记之神经网络和深度学习(第二周:神经网络基础)
- 一步一步分析讲解深度神经网络基础-Convolutional Neural Network
- [Mechine Learning & Algorithm] 神经网络基础
- 深度学习Day2(神经网络的基础编程)
- 神经网络基础概念