基于命令行的mahout软件0.8版本Canopy算法分析的数据处理流程
2013-12-10 18:36
176 查看
mahout软件0.8版本Canopy算法分析的数据处理分为以下三个步骤:
从数据库提炼你需要处理的数据的字段
依据提炼的数据处理为vectors
将处理后的vectors数据读取
一、从数据库提炼数据
这是一个sqoop-->>hive-->>hdfs转储为vectors的过程
原理:首先通过sqoop将数据库数据保证表结构不变全部导入到hive中,然后使用下面的语句创建准备用于mahout数据的hive表使用如下语句
需要注意,必须使用空格作为hive表中字段的分隔符才能够被以命令行方式调用的mahout数据处理工具识别。
二、将hive表的数据处理为vectors
mahout自带的org.apache.mahout.clustering.conversion.InputDriver类可以将全部数值的文件转换为vector的,如果是字符的文本转换则要使用seqdirectory
和seq2sparse
这两个工具,详细参数可以使用如下的方式从命令行获得
而被处理的数据也最好分为多个小的文件。
三、读取处理后的数据
Canopy算法处理后的数据是需要使用ClusterDump工具处理为非二进制格式,而不是VectorDump工具,同时,0.8版本的VectorDump工具参数已经发生重大变化和0.7以及0.6有了很大的不同
ClusterDump工具的输出路径需要是本地路径而不能hdfs的路径,否则会报出无法创建导出数据文件的错误。
从数据库提炼你需要处理的数据的字段
依据提炼的数据处理为vectors
将处理后的vectors数据读取
一、从数据库提炼数据
这是一个sqoop-->>hive-->>hdfs转储为vectors的过程
原理:首先通过sqoop将数据库数据保证表结构不变全部导入到hive中,然后使用下面的语句创建准备用于mahout数据的hive表使用如下语句
create table 表名 (字段声明) row format delimited fields terminated by ' '
需要注意,必须使用空格作为hive表中字段的分隔符才能够被以命令行方式调用的mahout数据处理工具识别。
二、将hive表的数据处理为vectors
mahout自带的org.apache.mahout.clustering.conversion.InputDriver类可以将全部数值的文件转换为vector的,如果是字符的文本转换则要使用seqdirectory
和seq2sparse
这两个工具,详细参数可以使用如下的方式从命令行获得
bin/mahout 类名 --help需要注意,如果是以命令行方式处理数据,字符数据和数值数据不要混合在一个文件里,无论在数据库中字段是否在同一个表中,一个要分离为不同文件,或者将字符替代为数字。否则处理过程中会出现java虚拟机内存溢出或者内存不足的错误。
而被处理的数据也最好分为多个小的文件。
三、读取处理后的数据
Canopy算法处理后的数据是需要使用ClusterDump工具处理为非二进制格式,而不是VectorDump工具,同时,0.8版本的VectorDump工具参数已经发生重大变化和0.7以及0.6有了很大的不同
ClusterDump工具的输出路径需要是本地路径而不能hdfs的路径,否则会报出无法创建导出数据文件的错误。
相关文章推荐
- 基于TBSS的DTI数据处理流程
- 基于Lua脚本解决实时数据处理流程中的关键问题
- kafka数据在zookeeper的存储结构(基于kafka0.8版本)
- 基于websocket 页面消息推送系统(后台处理流程解析)
- 采购处理二级数据流程
- Linux平台下基于BitTorrent应用层协议的下载软件开发--消息处理模块(signal_handler.h)
- 通用产品设计的巨大障碍--软件配置数据--的通用化处理方法
- 基于mfc数字图像处理的小软件pdd-转换图片成RGB通道,反色,黑白,灰度图片
- 视频流快速处理技术之一——基于帧数据量波动特性的压缩域视频快速检索方法
- 基于SWT处理大量数据的表(Table)和树(Tree)
- 使用异或运算对数据及文件进行加密处理,附软件及源码
- 【EMV L2】标准动态数据认证处理流程
- 软件综合实习——基于NoSQL数据库的空间数据存储
- 基于MVC+EasyUI的Web开发框架经验总结(12)--利用Jquery处理数据交互的几种方式
- Agisoft PhotoScan Professional软件处理无人机航拍照片基本流程
- 面向MapReduce 的数据处理流程开发方法 ------------重点内容摘要
- ImageMagick 处理图片的开源软件 可通过命令行调用
- 大数据分析挖掘-基于Hadoop/Mahout/MLlib的大数据挖掘
- 【大数据系列】基于MapReduce的数据处理 SequenceFile序列化文件
- 140-基于双TI DSP TMS320C6670+XC7K480T的6UCPCI Express高速数据处理平台