DTCR(Learning Representations for Time Series Clustering)论文理解

DTCR模型结构：

一.模型思路来源：

重构损失能够包含以前时间序列的相关特性，但学到的特征对分类任务并不一定适用。为使学到的特征形成类结构，从而获得特定于类的表示，所以模型中引入了k-means。另外，在序列到序列的模型中，encoder的能力越好，学到的潜在特征越好。因此为了提升encoder的能力，在模型中加入了假样本生成和辅助分类机制

二.损失函数解析

1.重构损失
Lreconstruction=1n∑i=1n∣∣xi−xi^∣∣22 L_{reconstruction}=\frac{1}{n}\sum^n_{i=1}||x_i-\hat{x_i}||^2_2 Lreconstruction​=n1​i=1∑n​∣∣xi​−xi​^​∣∣22​
2.k-means损失
（1）原理：
给定Hm×NH^{m\times N}Hm×N，k-means的最小化可以被重构为和Gram矩阵HTHH^THHTH相联系的最大化问题。谱松弛将k-means的损失函数转换为如下形式：其中F是类指示矩阵
Lk−means=Tr(HTH)−Tr(FTHTHF) L_{k-means}=Tr(H^TH)-Tr(F^TH^THF) Lk−means​=Tr(HTH)−Tr(FTHTHF)
由于H是固定的，所以上述损失函数可以转化为max Tr(FTHTHF),s.t. FTF=Imax \space Tr(F^TH^THF),s.t.\space F^TF=Imax Tr(FTHTHF),s.t. FTF=I
（2）本模型中的应用：
在DTCR中，H是动态的，Tr(HTH)Tr(H^TH)Tr(HTH)可以作为训练H的一个正则项，所以损失函数为：minH,F J(H)+λ2[Tr(HTH)−Tr(FTHTHF)],s.t. FTF=I：min_{H,F}\space J(H)+\frac{\lambda}{2}[Tr(H^TH)-Tr(F^TH^THF)],s.t.\space F^TF=I：minH,F​ J(H)+2λ​[Tr(HTH)−Tr(FTHTHF)],s.t. FTF=I，其中J(H)是重构损失+分类损失。
在训练过程中，迭代更新F和H：
 ①固定F,用SGD更新H
 ②固定H,用max Tr(FTHTHF),s.t. FTF=Imax\space Tr(F^TH^THF),s.t.\space F^TF=Imax Tr(FTHTHF),s.t. FTF=I来更新F(每10步更新一次)
3.分类损失
随机打乱一些时间步来生成对应输入的假样本，送入encoder，再对这些数据进行分类，判断是real还是fake，分类结果用二维one-hot向量yi^\hat{\textbf {y}_i}yi​^​表示，这里y^i=Wfc2(Wfc1hi)\hat{y}_i=\textbf{W}_{fc2}(\textbf{W}_{fc1} \textbf{h}_i)y^​i​=Wfc2​(Wfc1​hi​)，其中，Wfc1∈Rm×d,Wfc2∈Rd×2\textbf{W}_{fc1}\in R^{m\times d},\textbf{W}_{fc2}\in R^{d\times 2}Wfc1​∈Rm×d,Wfc2​∈Rd×2是全连接层的参数。
损失函数为：
Lclassification=−12N∑i=12N∑j=121{yi,j=1}logexp y^i,j∑j=12exp y^i,j L_{classification}=-\frac{1}{2N}\sum^{2N}_{i=1}\sum^2_{j=1}1\left\{y_{i,j}=1\right\}log\frac{exp\space \hat{y}_{i,j}}{\sum^2_{j=1}exp \space\hat{y}_{i,j}} Lclassification​=−2N1​i=1∑2N​j=1∑2​1{yi,j​=1}log∑j=12​exp y^​i,j​exp y^​i,j​​

总结损失函数：LDTCR=Lreconstruction+Lclassification+λLK−meansL_{DTCR}=L_{reconstruction}+L_{classification}+\lambda L_{K-means}LDTCR​=Lreconstruction​+Lclassification​+λLK−means​

三.DTCR具体训练算法