Hadoop+Hive环境搭建
2017-07-14 11:14
525 查看
Hadoop+Hive环境搭建
1虚拟机和系统安装+JDK环境
JDK安装采用二进制包压缩方式(解压之后就是直接可用了,但需要修改环境变量,使其任何路径下都可行)
修改/etc/profile,~/.bashrc 配置文件,修改环境变量。
2 Hadoop安装
Hadoop安装采用二进制文件压缩方式
三种方式
1 单机:修改 环境变量使得Hadoop命令在任何路径下可运行
2 伪分布:修改配置文件 core-site.xml Hdfs-site.xml hadoop-env.sh
格式化namenode,运行jps查看是否6个进程都已启动。
3 集群
三种方式分别需要修改配置文件。
3 Hive安装
Hive安装采用二进制文件压缩方式
三种方式
1 内嵌修改 环境变量使得Hive命令在任何路径下可运行
2mysql
安装mysql,修改配置文件hive-site.xml 使其连接mysql,同时将mysqljdbc放到hive、lib中
3远程
修改配置文件hive-site.xml 加上
datanucleus.autoCreateSchema
true
Hive依赖于Hadoop,而Hadoop依赖于JDK,安装Hive后,Hive的启动交给Hadoop,需要配置hadoop配置文件,同时把hive/lib下的hive* jar拷贝到hadoop/lib下。在启动Hadoop时同时启动Hive,jsp查看是否存在进程runjar。
4mysql安装
采用二进制文件压缩方式,mysql安装之后需要配置密码登入方式,同时配置允许远程用户登入,为hive新建一个登入用户和数据库hive,授权。
安装问题:
Centos安装:
Vmtool安装:http://www.jb51.net/softjc/189144.html
Jdk安装:http://www.cnblogs.com/coffy/p/4516757.html
Hadoop安装:
http://blog.csdn.net/zhshulin/article/details/50410403
http://www.powerxing.com/install-hadoop/
mysql安装:
http://www.cnblogs.com/xxoome/p/5864912.html
http://blog.csdn.net/superchanon/article/details/8546254/
Hive安装:http://blog.csdn.net/linlinv3/article/details/49512587
http://blog.csdn.net/an342647823/article/details/46048403
http://www.cnblogs.com/kxdblog/p/4100263.html
1虚拟机和系统安装+JDK环境
JDK安装采用二进制包压缩方式(解压之后就是直接可用了,但需要修改环境变量,使其任何路径下都可行)
修改/etc/profile,~/.bashrc 配置文件,修改环境变量。
2 Hadoop安装
Hadoop安装采用二进制文件压缩方式
三种方式
1 单机:修改 环境变量使得Hadoop命令在任何路径下可运行
2 伪分布:修改配置文件 core-site.xml Hdfs-site.xml hadoop-env.sh
格式化namenode,运行jps查看是否6个进程都已启动。
3 集群
三种方式分别需要修改配置文件。
3 Hive安装
Hive安装采用二进制文件压缩方式
三种方式
1 内嵌修改 环境变量使得Hive命令在任何路径下可运行
2mysql
安装mysql,修改配置文件hive-site.xml 使其连接mysql,同时将mysqljdbc放到hive、lib中
3远程
修改配置文件hive-site.xml 加上
datanucleus.autoCreateSchema
true
Hive依赖于Hadoop,而Hadoop依赖于JDK,安装Hive后,Hive的启动交给Hadoop,需要配置hadoop配置文件,同时把hive/lib下的hive* jar拷贝到hadoop/lib下。在启动Hadoop时同时启动Hive,jsp查看是否存在进程runjar。
4mysql安装
采用二进制文件压缩方式,mysql安装之后需要配置密码登入方式,同时配置允许远程用户登入,为hive新建一个登入用户和数据库hive,授权。
安装问题:
Centos安装:
Vmtool安装:http://www.jb51.net/softjc/189144.html
Jdk安装:http://www.cnblogs.com/coffy/p/4516757.html
Hadoop安装:
http://blog.csdn.net/zhshulin/article/details/50410403
http://www.powerxing.com/install-hadoop/
mysql安装:
http://www.cnblogs.com/xxoome/p/5864912.html
http://blog.csdn.net/superchanon/article/details/8546254/
Hive安装:http://blog.csdn.net/linlinv3/article/details/49512587
http://blog.csdn.net/an342647823/article/details/46048403
http://www.cnblogs.com/kxdblog/p/4100263.html
相关文章推荐
- Hadoop+Hive环境的搭建
- 大数据学习环境搭建(CentOS6.9+Hadoop2.7.3+Hive1.2.1+Hbase1.3.1+Spark2.1.1)
- Hadoop 2.6.0-cdh5.4.0集群环境搭建和Apache-Hive、Sqoop的安装
- Hive基本环境搭建(附赠Java和Hadoop的环境搭建)
- hadoop 、spark 、hive环境搭建
- HBase、Hive、MapReduce、Hadoop、Spark 开发环境搭建后的一些步骤(export导出jar包方式 或 Ant 方式)
- [转]云计算之hadoop、hive、hue、oozie、sqoop、hbase、zookeeper环境搭建及配置文件
- Hadoop+Hive环境搭建
- Hadoop Hive概念学习系列之hive三种方式区别和搭建、HiveServer2环境搭建、HWI环境搭建和beeline环境搭建(五)
- Hadoop和Hive单机环境搭建
- 伪分布式集群环境搭建、jdk、hadoop、zk、hbase、hive、mysql
- 大数据伪分布式环境搭建hadoop+zookeeper+hive+sqoop+hbase
- 《Programming Hive》读书笔记(一)Hadoop和hive环境搭建
- 虚拟机下linux+java+hadoop+hive环境搭建
- hadoop+hive-完全分布式环境搭建
- Ubuntu 下 Hadoop/Hive 环境搭建
- Hadoop、hive环境搭建详解
- Hadoop(二)HIVE环境搭建(HIVE连接 MYSQL)
- Hadoop+spark+hive全分布环境的搭建
- hadoop完全分布式环境搭建,整合zookeeper,hbase,spark,hive,hue