您的位置:首页 > 运维架构

我的云之旅--hadoop集群集成Hive(4)

2011-09-08 20:19 211 查看
Hive: 可以对数据转换为类SQL执行,调用hadoop mapreduce进行分布式计算。据说facebook的95%统计分析由此进行。有了分布式后ad hoc查询也变成可能。所以该软件还是不错的。

1 单机安装可参考官网

2 和hadoop集成步骤

2.1 安装好hadoop

2.2 job tracker根据自身的配置进行调整

SET mapred.job.tracker=myhost.mycompany.com:50030;


同样文件位置也一样进行调整 hostname:9000 具体忘了,应该是这个

2.3 CLI进行测试

注意:我在整个过程中碰到一个情况,具体的忘了,错误信息是期望的地址和实际不一致。就是修改masters为名称而不是IP。重启动就可以。

HWI可以在页面进行查看当前运行情况和结果。和CLI类似。

参考文献:

http://hive.apache.org/#Getting+Started
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: