神经网络学习(不定期更新)
2016-04-14 20:33
567 查看
该笔记记录了一些知识点,只是为了提醒自己相关的概念,并不适合学习来用。
1、监督学习:
有一种学习方式是输入特征,输出是分类,采用监督学习,负反馈调节算法,调节每层权重
2、非监督学习:
举例:比如网络一共有10层,第一层输入20个节点,第二层18个,第三层16个......以此类推。由于层数太多,我们需要一层一层训练权重,当我们想要得到第一层和第二层节点之间的连接权重时,我们构建一个3层的神经网络20 18 20,第一层和第三层都是输入的那20个节点,中间层就是我们想要得到的特征。通过不断地训练,我们得到了20 和18之间的连线的权重,这也就可以作为之前的10层网络的第一层和第二层之间的权重。
由于训练过程中输入和输出都是原本的20个节点,因此我们认为中间的18个节点可以很好地表示那20个节点,也可以说他们是等价的,也就是特征了~
之后每一层都这样训练下去就OK
3、监督学习和非监督学习的结合:
当神经网络的层数太深,负反馈调节的 Δ 衰减太快,那么我们就要使用某种方式初始化一组比较合理的权重,而非监督学习刚好可以做这一步。因此在层数很深的时候,可以先用非监督学习初始化每层的权重,之后再用监督学习负反馈调节每层的权重值,达到好的效果。
1、监督学习:
有一种学习方式是输入特征,输出是分类,采用监督学习,负反馈调节算法,调节每层权重
2、非监督学习:
举例:比如网络一共有10层,第一层输入20个节点,第二层18个,第三层16个......以此类推。由于层数太多,我们需要一层一层训练权重,当我们想要得到第一层和第二层节点之间的连接权重时,我们构建一个3层的神经网络20 18 20,第一层和第三层都是输入的那20个节点,中间层就是我们想要得到的特征。通过不断地训练,我们得到了20 和18之间的连线的权重,这也就可以作为之前的10层网络的第一层和第二层之间的权重。
由于训练过程中输入和输出都是原本的20个节点,因此我们认为中间的18个节点可以很好地表示那20个节点,也可以说他们是等价的,也就是特征了~
之后每一层都这样训练下去就OK
3、监督学习和非监督学习的结合:
当神经网络的层数太深,负反馈调节的 Δ 衰减太快,那么我们就要使用某种方式初始化一组比较合理的权重,而非监督学习刚好可以做这一步。因此在层数很深的时候,可以先用非监督学习初始化每层的权重,之后再用监督学习负反馈调节每层的权重值,达到好的效果。
相关文章推荐
- HTTP GET和POST格式解析
- 【JAVA/读书随笔】网络
- Android自定义View之网络图
- 理不清的网络基础知识(00)
- tcp_tw_recycle和tcp_timestamps导致connect失败问题
- 从贴吧看的逆向网络协议过程逆向校园网客户端
- Android网络知识
- 计算机网络ip地址分类及含义
- HttpClient的简单使用--HttpGET和HttpPost
- 几种经典的网络服务器架构模型的分析与比较
- 使用 libevent 和 libev 提高网络应用性能
- 《网络工程师》 Part4 局域网与城域网
- TCP/IP协议--TCP的交互数据流和成块数据流
- 【BZOJ3651】网络通信【Link-Cut Tree】
- VB.NET 如何进行调用HTTP外部接口
- TCP/IP具体解释--TCP/UDP优化设置总结& MTU的相关介绍
- Linux网络编程之聊天程序(TCP协议之select)
- debian使用apt安装时出现“更换介质,插入驱动器"/media/chrom/"再按回车键”的提示,无法从网络安装,解决?
- Java Web基础知识之Servlet(2):深入Servlet——HttpServlet
- 连“霍金”都想学习的“人工智能”---【自己动手写神经网络】小白入门连载開始了(1)