论文笔记之Learning Deep Representations for Graph Clustering
2017-01-09 19:32
771 查看
本篇论文是2014年AAAI的一篇论文。
思想也比较简单,主要是采用SAE(栈式自编码)无监督学习的形式,在graph上进行node embedding,将embedding得到的每个node的vector做为输入,进行graph cluster。论文中采用的是最常用的k-means方法来cluster。
算法如下:
step1 得到graph的n*n的邻接矩阵S和度矩阵D
step2 将D’S作为SAE的输入,实际上是graph有n个node,作为n个sample的训练集输入到 SAE中,每个sample的feature的维度是n表示该点与其他各点的连接情况。
step3 训练SAE,文中采用的是稀疏自编码的栈式形式。(自编码器一般都采用lbfgs的最优化策略来bp,效率和效果较好)
step4 取栈底的AE的hidden层的vector作为node embedding的结果
step5 将embedding结果作为k-means的输入,进行graph cluster,最后用nmi来评价cluster的结果
优点:
1.速度快,相比于谱聚类(涉及了EVD)
2.对于稀疏图而言,SAE有更好的表达效果
3.SAE更易于扩展成更deep的structure
缺点:
1.需要遍历所有的node,存储所有node的邻接点信息,对于big graph 可能在效率上不怎么work
2.只是考虑了1-hop的信息,embedding的效果可能不够好
思想也比较简单,主要是采用SAE(栈式自编码)无监督学习的形式,在graph上进行node embedding,将embedding得到的每个node的vector做为输入,进行graph cluster。论文中采用的是最常用的k-means方法来cluster。
算法如下:
step1 得到graph的n*n的邻接矩阵S和度矩阵D
step2 将D’S作为SAE的输入,实际上是graph有n个node,作为n个sample的训练集输入到 SAE中,每个sample的feature的维度是n表示该点与其他各点的连接情况。
step3 训练SAE,文中采用的是稀疏自编码的栈式形式。(自编码器一般都采用lbfgs的最优化策略来bp,效率和效果较好)
step4 取栈底的AE的hidden层的vector作为node embedding的结果
step5 将embedding结果作为k-means的输入,进行graph cluster,最后用nmi来评价cluster的结果
优点:
1.速度快,相比于谱聚类(涉及了EVD)
2.对于稀疏图而言,SAE有更好的表达效果
3.SAE更易于扩展成更deep的structure
缺点:
1.需要遍历所有的node,存储所有node的邻接点信息,对于big graph 可能在效率上不怎么work
2.只是考虑了1-hop的信息,embedding的效果可能不够好
相关文章推荐
- 论文笔记之:Learning Cross-Modal Deep Representations for Robust Pedestrian Detection
- 论文笔记之---Learning Deep Feature Representations with Domain Guided Dropout for Person Re-identificatio
- 论文笔记 A Large Contextual Dataset for Classification,Detection and Counting of Cars with Deep Learning
- cuDNN: efficient Primitives for Deep Learning 论文阅读笔记
- 论文笔记 Ensemble of Deep Convolutional Neural Networks for Learning to Detect Retinal Vessels in Fundus
- Joint Deep Learning For Pedestrian Detection(论文笔记-深度学习:行人检测)
- 论文笔记:Wide & Deep Learning for Recommender Systems
- 深度学习论文笔记 [图像处理] Deep Residual Learning for Image Recognition
- 论文笔记(一)Deep Ranking for Person Re-Identification via Joint Representation Learning (续)
- 论文笔记《End-to-End Deep Learning for Person Search》
- PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning --- 论文笔记
- Deep Residual Learning for Image Recognition(ResNet)论文笔记
- 论文笔记 | Deep Residual Learning for Image Recognition
- 论文研读--Learning Deep Feature Representations with Domain Guided Dropout for Person Re-identification
- 论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning
- Learning Deep Features for Discriminative Localization论文笔记以及Caffe实现
- 论文笔记之:Deep Recurrent Q-Learning for Partially Observable MDPs
- [深度学习论文笔记][Image Classification] Deep Residual Learning for Image Recognition
- cuDNN: efficient Primitives for Deep Learning 论文阅读笔记
- 论文笔记: Deep Residual Learning for Image Recognition