Spark MLLib KMeans OOM 问题
2016-05-27 12:51
399 查看
1.问题描述:
对7万*3万的矩阵,对行数据KMeans聚类,刚开始执行,就报错:java.lang.OutOfMemoryError: Java heap space
2.原因查找:
查看Spark MLLib KMeans源码中有关开辟堆栈空间的部分,在
spark-1.6.1\mllib\src\main\scala\org\apache\spark\mllib\clustering\KMeansModel.scala
中找到了下面这个语句:
我设置的类别数目是5000,数据维度上面提到了是3万,猜测源码把5000*3万的数据量放到一个数组中而,这个猜测与报错的原因及报错发生在刚执行的时刻吻合。
4.确认与解决:
方案一:降低聚类数目,降低到50后,不再OOM,分析得到了印证;
方案二:降低数据维度,使用SVD降维,左矩阵乘以奇异值矩阵得到原始数据的低维近似;
对7万*3万的矩阵,对行数据KMeans聚类,刚开始执行,就报错:java.lang.OutOfMemoryError: Java heap space
2.原因查找:
查看Spark MLLib KMeans源码中有关开辟堆栈空间的部分,在
spark-1.6.1\mllib\src\main\scala\org\apache\spark\mllib\clustering\KMeansModel.scala
中找到了下面这个语句:
def this(centers: java.lang.Iterable[Vector]) = this(centers.asScala.toArray) 3.分析:
我设置的类别数目是5000,数据维度上面提到了是3万,猜测源码把5000*3万的数据量放到一个数组中而,这个猜测与报错的原因及报错发生在刚执行的时刻吻合。
4.确认与解决:
方案一:降低聚类数目,降低到50后,不再OOM,分析得到了印证;
方案二:降低数据维度,使用SVD降维,左矩阵乘以奇异值矩阵得到原始数据的低维近似;
相关文章推荐
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- Spark随谈——开发指南(译)
- Spark,一种快速数据分析替代方案
- eclipse 开发 spark Streaming wordCount
- Understanding Spark Caching
- ClassNotFoundException:scala.PreDef$
- Windows 下Spark 快速搭建Spark源码阅读环境
- Spark中将对象序列化存储到hdfs
- 使用java代码提交Spark的hive sql任务,run as java application
- Spark机器学习(一) -- Machine Learning Library (MLlib)
- Spark机器学习(二) 局部向量 Local-- Data Types - MLlib
- Spark机器学习(三) Labeled point-- Data Types
- Spark初探
- Spark Streaming初探
- Spark本地开发环境搭建
- 搭建hadoop/spark集群环境
- Spark HA部署方案
- Spark HA原理架构图
- spark内存概述