【神经网络张量化】Tensorizing Neural Networks笔记
2017-06-18 18:17
1831 查看
论文地址
代码
这篇文章提出了一种TensorNet,即有一层或多层TT-layer的神经网络。下面分章总结一下。
神经网络的参数之所以多主要是因为层与层间的权值。于是张量神经网络就是用张量来存储权值的神经网络。再进行张量分解就可以进行张量的压缩,进而节省存储空间,提高计算速度等。。。这篇文章用的是tt分解来压缩张量,当然还有其他的张量分解方法。
下面就只是简单介绍了一下tt分解和向量和矩阵的tt表示,不了解tt分解的童鞋开起来可能一头污水。。。所以查了一点tt分解的资料:
这篇中文文章的前面有一部分介绍了tt分解
原作者关于tt分解的slides
SVD介绍
在这篇paper的代码里在产生tt核的时候其实是用了一种基于svd的近似算法得到tt核,但是没有在这篇文章里写。至于具体数学上的推导细节,,,我也没看懂。
文章的最后就是介绍了一下实验部分。还有很多不懂的地方,尤其是数学部分,如果以后有什么新的体会再补充。
代码
这篇文章提出了一种TensorNet,即有一层或多层TT-layer的神经网络。下面分章总结一下。
1-2
大概前两章就是写了传统的神经网络对计算的要求有多高balabala,以及一些张量和张量分解的发展等等。下面的张量神经网络会用到tt分解。tt分解的作者也是这篇文章的作者。3
第三章开始正片。神经网络的参数之所以多主要是因为层与层间的权值。于是张量神经网络就是用张量来存储权值的神经网络。再进行张量分解就可以进行张量的压缩,进而节省存储空间,提高计算速度等。。。这篇文章用的是tt分解来压缩张量,当然还有其他的张量分解方法。
下面就只是简单介绍了一下tt分解和向量和矩阵的tt表示,不了解tt分解的童鞋开起来可能一头污水。。。所以查了一点tt分解的资料:
这篇中文文章的前面有一部分介绍了tt分解
原作者关于tt分解的slides
SVD介绍
在这篇paper的代码里在产生tt核的时候其实是用了一种基于svd的近似算法得到tt核,但是没有在这篇文章里写。至于具体数学上的推导细节,,,我也没看懂。
4-5
这部分就是将梯度下降算法用在tt表示的神经网络上。具体在python上应用的时候,训练部分的代码和普通的神经网络貌似无差。文章的最后就是介绍了一下实验部分。还有很多不懂的地方,尤其是数学部分,如果以后有什么新的体会再补充。
相关文章推荐
- Andrew NG机器学习课程笔记系列之——机器学习之神经网络模型-下(Neural Networks: Representation)
- Stanford机器学习笔记-4. 神经网络Neural Networks (part one)
- Hinton Neural Networks课程笔记4b:神经网络是一种混合概念表示,既可以表示为特征向量,也可以表示为关系
- Coursera deeplearning.ai 深度学习笔记1-3-Shallow Neural Networks-浅层神经网络原理推导与代码实现
- Stanford机器学习笔记-4. 神经网络Neural Networks (part one)
- Hinton Neural Networks课程笔记2a:三种主要的神经网络框架之前向网络、循环神经网络和对称网络
- Andrew NG 机器学习 笔记-week5-神经网络的学习(Neural Networks:Learning)
- 机器学习笔记(五)----神经网络的学习(Neural Networks: Learning)
- Coursera公开课笔记: 斯坦福大学机器学习第八课“神经网络的表示(Neural Networks: Representation)”
- Torch 笔记:神经网络(Neural Networks)
- 机器学习笔记06:神经网络的表示(Neural Networks-Representation)
- (笔记)神经网络压缩,Ristretto: Hardware-Oriented Approximation of Convolutional Neural Networks(一)
- Andrew NG机器学习课程笔记系列之——机器学习之神经网络模型-上(Neural Networks: Representation)
- 笔记: 斯坦福大学机器学习第九课“神经网络的学习(Neural Networks: Learning)”
- 循环神经网络(RNN, Recurrent Neural Networks)学习笔记:源码分析(一)
- 斯坦福机器学习视频笔记 Week4&Week5 神经网络 Neural Networks
- Coursera deeplearning.ai 深度学习笔记1-4-Deep Neural Networks-深度神经网络原理推导与代码实现
- [笔记]Coursera Machine Learning Week4,5 - 神经网络(Neural Networks)
- Hinton Neural Networks课程笔记4a:使用神经网络做逻辑推理
- Hinton Neural Networks课程笔记2b:第一代神经网络之感知机