【Hybrid Neural Networks for Learning the Trend in Time Series】 阅读笔记
论文原文链接：https://www.ijcai.org/proceedings/2017/0316.pdf
摘要
本文的混合神经网络叫做TreNet，可以学习时间序列的局部特征和全局特征。它使用CNN提取局部特征，使用LSTM学习长远趋势，最终预测该时间序列之后一段时间的升降趋势。
CNN在提取数据局部特征方面有优势，得益于它能够强化神经元之间的局部连接。
LSTM在分析长远趋势上有优势，得益于网络内部的记忆机制。
作者是这么看待一个时间序列的：首先时间序列是由一些 长期趋势 构成的，如Figure2(b)的Trend1，2，3。看Figure2(a)，在时间序列的尾部（即预测点之前）是一些 局部点集 ，它对时间序列的趋势有着较大影响，就好比要预测明天的天气，今天的天气情况会比十天前的天气情况更有参考价值。红圈中显示的是Trend 3 尾部的点集，可以看到，它表明数据有持平或下降的趋势，事实（蓝色虚线）也确实如此。这个模型的思想是综合考虑长期趋势和局部趋势，从而提高预测准确率。
网络结构
输入数据分两部分，第一部分Т是历史的较长远的趋势，输入到LSTM，
TreNet厉害就在于它的Feature Fusion，融合层。具体做法是将R(T)和C(L)分别乘以矩阵
Output Layer是一个全连接的神经网络，输出预测的结果
代价函数是均方误差+正则化项
更多数学上的细节，请看论文的第3部分。
实验对比及结果
与之对照的模型有CNN，LSTM，ConvNet+LSTM(CLSTM)，Support Vector Regression (SVR)，Pattern-based Hidden Markov Model (pHMM)，以及直接拿上一个趋势作为预测结果的空白组。首先在Power Consumption，Stock，Gas Sensor三个场景的数据集上做实验，结果TreNet完爆其他模型。
之后研究了局部点集的大小对模型准确率的影响，随着局部点集越来越大，TreNet的错误率会越来越小并趋于稳定（原文这么说的，但并不很真实）
结论
这个模型确实是一个在时间序列预测方面不错的模型，不过有这么好的效果可能是调参调的好吧。在股票投资这种高噪声、高随机性的场景下这个模型的效果怎么样还有待考究。
- 点赞
- 收藏
- 分享
- 文章举报
马克赛
发布了2 篇原创文章 · 获赞 0 · 访问量 94
私信
关注
- <A Critical Review of Recurrent Neural Networks for Sequence Learning>阅读笔记
- 论文笔记 Ensemble of Deep Convolutional Neural Networks for Learning to Detect Retinal Vessels in Fundus
- Multilayer in-place learning networks for modeling functional layers in the laminar cortex笔记
- A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction阅读笔记
- 论文笔记：PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection
- 《Neural Networks for Machine Learning》 by Hinton 学习笔记（一）
- 论文笔记之Learning Convolutional Neural Networks for Graphs
- 深度学习笔记空间金字塔池化阅读笔记Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
- 论文阅读--PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection
- 多任务学习-An Overview of Multi-Task Learning in Deep Neural Networks论文笔记
- Salient Subsequence Learning for Time Series Clustering论文笔记
- Distilling the Knowledge in a Neural Network 阅读笔记
- deeplearning论文学习笔记（2）A critical review of recurrent neural networks for sequence learning
- 《How to Use the TimeDistributed Layer for Long Short-Term Memory Networks in Python》学习笔记
- Neural networks and deep learning阅读笔记（3）神经网络学习方式
- 《3D Convolutional Neural Networks for Human Action Recognition》论文阅读笔记
- 《Deep learning for time series classification a review》笔记
- an empirical study of learning rates in deep neural networks for speech recognition 总结
- 论文阅读：Reading Text in the Wild with Convolutional Neural Networks
- Learning Convolutional Neural Networks for Graphs 论文笔记