3 分钟学会调用 Apache Spark MLlib KMeans
2016-03-29 20:03
204 查看
Apache Spark MLlib是Apache Spark体系中重要的一块拼图:提供了机器学习的模块。只是,眼下对此网上介绍的文章不是非常多。拿KMeans来说,网上有些文章提供了一些演示样例程序,而这些程序基本和Apache Spark 官网上的程序片断类似:在得到训练模型后,差点儿都没有展示怎样使用该模型、程序运行流程、结果展示以及举例測试数据等部分。
笔者依据Apache Spark官网上的程序片断。写了一个完整的调用MLlib KMeans库的測试程序,并成功在Spark 1.0 + Yarn 2.2
的环境上运行。因为仅为高速体验目的。本程序里面的非常多细节并未被打磨,但相信已可为对Spark MLlib感兴趣的朋友们提供些许入门级帮助。
[A. 程序主要部分]
![](http://img.blog.csdn.net/20140727172112499?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc2FtaGFja2Vy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
[B. 測试数据]
![](http://img.blog.csdn.net/20140727170732499?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc2FtaGFja2Vy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
[C. 运行]
利用 ${SPARK_HOME}/bin/spark-submit 将程序提交给Yarn去运行。
[D. 结果]
- Console 返回的结果(最后几行):
![](http://img.blog.csdn.net/20140727171023554?<br/><br/>watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc2FtaGFja2Vy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
- Yarn Web Console返回的运行结果:
![](http://img.blog.csdn.net/20140727171056563?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc2FtaGFja2Vy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
- Yarn Log 中显示 Scala 程序的Output:
![](http://img.blog.csdn.net/20140727171714115?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc2FtaGFja2Vy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
[E. 总结]
- 调用 Spark MLlib 库的过程并不复杂
- 利用MLlib KMeans 训练出来的 Model(KMeansModel),能够方便地对新的数据作出分类预測
笔者依据Apache Spark官网上的程序片断。写了一个完整的调用MLlib KMeans库的測试程序,并成功在Spark 1.0 + Yarn 2.2
的环境上运行。因为仅为高速体验目的。本程序里面的非常多细节并未被打磨,但相信已可为对Spark MLlib感兴趣的朋友们提供些许入门级帮助。
[A. 程序主要部分]
[B. 測试数据]
[C. 运行]
利用 ${SPARK_HOME}/bin/spark-submit 将程序提交给Yarn去运行。
[D. 结果]
- Console 返回的结果(最后几行):
- Yarn Web Console返回的运行结果:
- Yarn Log 中显示 Scala 程序的Output:
[E. 总结]
- 调用 Spark MLlib 库的过程并不复杂
- 利用MLlib KMeans 训练出来的 Model(KMeansModel),能够方便地对新的数据作出分类预測
相关文章推荐
- Apache DBCP数据库连接池使用Demo
- Ubuntu Apache 不同端口监听不同站点
- java转换json需要导入的jar包,org/apache/commons/lang/exception/NestableRuntimeException
- java.lang.NoClassDefFoundError: org/apache/commons/lang3/StringUtils
- wamp 修改默认apache 80端口
- Apache2.4虚拟主机和多站点配置
- 通过Apache CXF采集数据时多线程请求的性能总结
- 配置apache虚拟主机具体步骤详解(配置虚拟域名指向本地主机)
- org.apache.ibatis.type.TypeException: Could not resolve type alias
- php开发环境搭建——laravel框架,apache服务器,git版本控制
- Linux 下使用 Eclipse 调试 apache 模块
- Apache下安装配置mod_pagespeed模块,轻松完成网站提速
- 修改apache配置文件去除thinkphp url中的index.php
- apache olut oauth2 (server、client)集成配置
- centos6.6 源码安装Apache2.4
- apache2服务器mod_rewrite模块 开启方法[linux, ubuntu]
- Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.10.1:jar (attach-javadocs) on
- Apache开源库BeanUtils操作JavaBean的属性
- CentOS 6.5系统安装配置LAMP(Apache+PHP5+MySQL)服务器环境
- Windows上安装Apache