我的云之旅--hadoop集群集成Hive(4)
2011-09-08 20:19
211 查看
Hive: 可以对数据转换为类SQL执行,调用hadoop mapreduce进行分布式计算。据说facebook的95%统计分析由此进行。有了分布式后ad hoc查询也变成可能。所以该软件还是不错的。
1 单机安装可参考官网
2 和hadoop集成步骤
2.1 安装好hadoop
2.2 job tracker根据自身的配置进行调整
同样文件位置也一样进行调整 hostname:9000 具体忘了,应该是这个
2.3 CLI进行测试
注意:我在整个过程中碰到一个情况,具体的忘了,错误信息是期望的地址和实际不一致。就是修改masters为名称而不是IP。重启动就可以。
HWI可以在页面进行查看当前运行情况和结果。和CLI类似。
参考文献:
http://hive.apache.org/#Getting+Started
1 单机安装可参考官网
2 和hadoop集成步骤
2.1 安装好hadoop
2.2 job tracker根据自身的配置进行调整
SET mapred.job.tracker=myhost.mycompany.com:50030;
同样文件位置也一样进行调整 hostname:9000 具体忘了,应该是这个
2.3 CLI进行测试
注意:我在整个过程中碰到一个情况,具体的忘了,错误信息是期望的地址和实际不一致。就是修改masters为名称而不是IP。重启动就可以。
HWI可以在页面进行查看当前运行情况和结果。和CLI类似。
参考文献:
http://hive.apache.org/#Getting+Started
相关文章推荐
- Hadoop集群之hive集成mysql作为元数据的方法及错误排解(hive-site.xml文件无法生效)
- 我的云之旅--hadoop集群集成Hive(4)
- hadoop2.4.2集群搭建及hive与mysql集成文档记录
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- 建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们
- hadoop-hbase-hive-zookeeper的cdh4.6.0和spark-0.9.0-incubating-bin-cdh4集群
- Spark+Hadoop+Hive集群上数据操作记录
- [置顶] CentOS7.0基于hadoop集群安装配置Hive
- 大数据集群遇到的问题(Hadoop、Spark、Hive、kafka、Hbase、Phoenix)
- Hadoop集群(五) Hive安装
- Hadoop-2.6.0+Zookeeper-3.4.6+Spark-1.5.0+Hbase-1.1.2+Hive-1.2.0集群搭建
- 关于hadoop集群的简单性能测试——mapreduce性能,hive性能,并行计算分析(原创)
- Hadoop2.3+Hive0.12集群部署
- Hadoop集群之Hive安装配置
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- Hadoop集群搭建与MySQL搭建和Hive安装
- hadoop集群搭建之hive安装
- Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)
- hadoop-2.5.0,hbase,hive,pig,sqoop,zookeeper 集群安装
- hadoop集群配置之hive1.2.0安装部署(远程mysql)