基于伪分布式Hadoop搭建Hive平台详细教程
一、搭建环境的前提条件
环境:Linux系统
Hadoop-2.6.0
MySQL 5.6
apache-hive-2.3.7
这里的环境不一定需要和我一样,基本版本差不多都ok的,所需安装包和压缩包自行下载即可。但是注意hive和hadoop都是2.x系列版本的。
这里提供一个我下载的hive版本的链接,读者有需要可以自取:http://mirror.bit.edu.cn/apache/hive/hive-2.3.7/
这里需要提前搭建好hadoop环境和MySQL环境,具体可以看我的博客链接:Hadoop2.0伪分布式平台环境搭建和Linux环境下MySQL 5.6安装与配置----亲测有效----纯离线安装
二、搭建的详细步骤
1.使用mysql来存储hive元数据
将hive下载完成后解压到指定目录下,注意这里的3.1版本改成我们前面的2.3版本即可。
登录mysql
建立hive用户
赋予hive用户足够权限
刷新mysql的系统权限相关表
重启mysql服务,注意:这里需要使用 service mysqld restart 这个命令
使用hive用户登录mysql
创建Hive专用元数据库
2.配置hive
创建配置文件hive-site.xml
在xml输入以下内容,这里面的password是刚才创建hive用户的密码,我这里是123456
把mysql的jdbc驱动包复制到hive的lib目录下,下载网址https://dev.mysql.com/downloads/connector/j/,读者如有需要可联系我私发。
hive初始化
初始化的结果
配置PATH环境变量进入profile文件
输入以下内容
修改配置文件hive-env.sh ,执行以下命令
在hive-env.sh添加以下内容,这里的jdk与hadoop版本视自己本身情况而定。
3.启动hive
先开启hadoop集群,使用jps查看是否开启
启动hive
在Hive中创建表student
关闭hive的话使用exit;即可
hive>exit;
使用mysql查看
显示hive数据库中的数据表
查看hive的元数据信息
三、总结
我这篇博文是基于MySQL和Hadoop伪分布式搭建的一个hive平台,在搭建的过程中也遇到了一些问题,也请教了一些同事,最终成功搭建出来了,希望这篇博文能够对各位有所帮助。
- Hadoop平台搭建教程(伪分布式)
- 基于CentOS7平台的Hadoop安装及环境搭建全教程(新手向)
- 基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析视频教程
- 基于Hive的hadoop集群搭建详细解说
- 王家林 云计算分布式大数据Hadoop实战高手之路---从零开始 第二讲:全球最详细的从零起步搭建Hadoop单机和伪分布式开发环境图文教程
- 基于VS2015,MFC平台的上位机串口程序搭建详细教程(兼容debug x64、win32 、x86等解决方案平台)
- centos7+hadoop-3.1.0搭建分布式集群超详细教程
- hadoop2.x单机搭建分布式集群超详细教程
- Hadoop平台搭建教程(伪分布式)
- 王家林 云计算分布式大数据Hadoop实战高手之路---从零开始 第二讲:全球最详细的从零起步搭建Hadoop单机和伪分布式开发环境图文教程
- hadoop平台搭建-多节点详细教程
- centos7搭建Hadoop2完全分布式详细教程
- 超详细的Hadoop伪分布式搭建教程
- 大数据分析平台搭建教程:基于Apache Zeppelin Notebook和R的交互式数据科学
- 5节点Hadoop分布式集群搭建-超详细文档
- Hadoop分布式搭建、Hbase安装、Hive安装
- VMware+Centos7+Hadoop3.2.0搭建hadoop集群(详细教程!!)
- Centos 7 搭建hadoop-2.6.0和spark1.6.0完全分布式集群教程 (最小化配置)
- 大数据平台hive原生搭建教程
- 基于Hadoop的数据分析平台搭建 - 大数据