Hive资料整理系列 二 Hive安装及mysql做元数据库 --clouder版本
2011-07-28 14:35
656 查看
Debian 上安装: Java代码
$ sudo apt-get install hadoop-hive
redhat/centos 上安装: Java代码
$ sudo yum install hadoop-hive
启动hive 控制台: Java代码
$ hive
hive>
okay,可以使用hive 了 你可以参照hive 的wiki 里的介绍(很全面)玩一玩hive 的操作http://wiki.apache.org/hadoop/Hive玩了会儿了,该干正事了。hive 默认带的是derby 数据库来存放创建的表信息(只存放表结构,内容放到hdfs里)derby毕竟是嵌入式数据库,作正式应用不安全。幸好hive支持mysql,于是安装mysql我用的是centos 安装自然很简单: Java代码
yum install mysql-server
启动mysql: /etc/init.d/mysqld start 为hadoop/hive 创建mysql用户: Java代码
mysql
mysql> CREATE USER 'hadoop'@'centos1' IDENTIFIED BY 'hadoop';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'centos1' WITH GRANT OPTION;
mysql> exit
测试是否成功: Java代码
su - hadoop
Java代码
mysql -h centos1 -u hadoop -p
okay 现在我们成功安装了hive 下面我们修改hive 的配置让hive使用mysql 如果你用的cloudera 的话:
vi /etc/hive/conf/hive-site.xml 然后改成这样: Java代码
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://centos1:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hadoop</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
</property>
okay, 现在启动 hive:$hive 用的就是mysql 数据库存放表结构了。 你会惊奇地发现之前玩的那些表都没了,就让它们长眠在derby里吧! 集群搭建完毕,于是乎实际应用来了。由于scribe 用的时间不长,产生的日志量还少,我们需要对过去三个月的cookie访问数据进行一个分析。怎么办? 写个java程序吧数据库里的数据导进来(scribe之前 ,还是吧所有日志写到数据库中的,可想而知查询得多慢)导出了15G的数据(3各月cookie访问记录)下面就有个不能满足的需求了:要求把分析结果放回到mysql 数据库中方便管理人员查看你懂的, linux控制台操作的hive 是不可能把结果数据放进mysql的(就我的能力而言。) 只能打印到控制台或者写入文件 于是乎想到了hive 是有jdbc 客户端的 首先启动hive server: Java代码
hive --service hiveserver 50031(端口号)
好了服务启动了,等待客户端连接并执行客户端代码。 hive 支持多种客户端,jdbc odbc php python 等等 想了解的可以去wiki 看看。 okay 用eclipse 写hive 吧~ 这回熟悉了吧在eclipse 中创建一个新的javaproject 把hive/lib 下的所有jar copy到项目的lib目录下 另外再加一个mysql-connector-5.*.*.jar 用来把数据写入mysql废话不说 ,贴代码: Java代码
package com.hive;
import java.sql.SQLException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.DriverManager;
public class HiveJdbcClient {
private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
/**
* @param args
* @throws SQLException
*/
public static void main(String[] args) throws SQLException {
try {
Class.forName(driverName);
} catch (ClassNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.exit(1);
}
Connection con = DriverManager.getConnection(
"jdbc:hive://192.168.3.201:50031/defalt", "hadoop",
"masterninja");
Statement stmt = con.createStatement();
ResultSet res = stmt
.executeQuery("select cookie_id ,COUNT(cookie_id)count from cookie_info where uid=5779665 group by cookie_id ORDER BY count DESC limit 20");
while (res.next()) {
System.out.println(res.getString(1) +" "+ res.getInt(2));
}
}
}
我这里只是把结果集打印出来了 没有写入mysql (贴的只是测试代码)写好后运行就成。如果您公司的服务器与外网是隔离的(我们公司就是)就把程序打个jar 上传到服务器集群中的一台上(起码能访问到hiveserver 的)运行java -jar XXX.jar你会发现hive server 的那台机器开始在linux控制台打印了...
$ sudo apt-get install hadoop-hive
redhat/centos 上安装: Java代码
$ sudo yum install hadoop-hive
启动hive 控制台: Java代码
$ hive
hive>
okay,可以使用hive 了 你可以参照hive 的wiki 里的介绍(很全面)玩一玩hive 的操作http://wiki.apache.org/hadoop/Hive玩了会儿了,该干正事了。hive 默认带的是derby 数据库来存放创建的表信息(只存放表结构,内容放到hdfs里)derby毕竟是嵌入式数据库,作正式应用不安全。幸好hive支持mysql,于是安装mysql我用的是centos 安装自然很简单: Java代码
yum install mysql-server
启动mysql: /etc/init.d/mysqld start 为hadoop/hive 创建mysql用户: Java代码
mysql
mysql> CREATE USER 'hadoop'@'centos1' IDENTIFIED BY 'hadoop';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'centos1' WITH GRANT OPTION;
mysql> exit
测试是否成功: Java代码
su - hadoop
Java代码
mysql -h centos1 -u hadoop -p
okay 现在我们成功安装了hive 下面我们修改hive 的配置让hive使用mysql 如果你用的cloudera 的话:
vi /etc/hive/conf/hive-site.xml 然后改成这样: Java代码
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://centos1:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hadoop</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
</property>
okay, 现在启动 hive:$hive 用的就是mysql 数据库存放表结构了。 你会惊奇地发现之前玩的那些表都没了,就让它们长眠在derby里吧! 集群搭建完毕,于是乎实际应用来了。由于scribe 用的时间不长,产生的日志量还少,我们需要对过去三个月的cookie访问数据进行一个分析。怎么办? 写个java程序吧数据库里的数据导进来(scribe之前 ,还是吧所有日志写到数据库中的,可想而知查询得多慢)导出了15G的数据(3各月cookie访问记录)下面就有个不能满足的需求了:要求把分析结果放回到mysql 数据库中方便管理人员查看你懂的, linux控制台操作的hive 是不可能把结果数据放进mysql的(就我的能力而言。) 只能打印到控制台或者写入文件 于是乎想到了hive 是有jdbc 客户端的 首先启动hive server: Java代码
hive --service hiveserver 50031(端口号)
好了服务启动了,等待客户端连接并执行客户端代码。 hive 支持多种客户端,jdbc odbc php python 等等 想了解的可以去wiki 看看。 okay 用eclipse 写hive 吧~ 这回熟悉了吧在eclipse 中创建一个新的javaproject 把hive/lib 下的所有jar copy到项目的lib目录下 另外再加一个mysql-connector-5.*.*.jar 用来把数据写入mysql废话不说 ,贴代码: Java代码
package com.hive;
import java.sql.SQLException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.DriverManager;
public class HiveJdbcClient {
private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
/**
* @param args
* @throws SQLException
*/
public static void main(String[] args) throws SQLException {
try {
Class.forName(driverName);
} catch (ClassNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.exit(1);
}
Connection con = DriverManager.getConnection(
"jdbc:hive://192.168.3.201:50031/defalt", "hadoop",
"masterninja");
Statement stmt = con.createStatement();
ResultSet res = stmt
.executeQuery("select cookie_id ,COUNT(cookie_id)count from cookie_info where uid=5779665 group by cookie_id ORDER BY count DESC limit 20");
while (res.next()) {
System.out.println(res.getString(1) +" "+ res.getInt(2));
}
}
}
我这里只是把结果集打印出来了 没有写入mysql (贴的只是测试代码)写好后运行就成。如果您公司的服务器与外网是隔离的(我们公司就是)就把程序打个jar 上传到服务器集群中的一台上(起码能访问到hiveserver 的)运行java -jar XXX.jar你会发现hive server 的那台机器开始在linux控制台打印了...
相关文章推荐
- 1 复习ha相关 + weekend110的hive的元数据库mysql方式安装配置(完全正确配法)(CentOS版本)(包含卸载系统自带的MySQL)
- Ubuntu下安装hive,并配置mysql作为元数据库
- Hive资料整理系列 四 Hive - 运用于hadoop的拍字节范围数据仓库 --译文
- Hive安装(使用外部mysql作为元数据库)
- Hive环境的安装部署(完美安装)(集群内或集群外都适用)(含卸载自带mysql安装指定版本)
- hive 资料整理系列一 入门
- HIVE 安装系列(3)配置HIVE 使用Mysql作为元数据的数据库
- HIVE安装系列之一:在Linux中安装mysql,为其作为hive的metastore做准备
- MySQL版本介绍和安装---JC MySQL系列(二)
- hive资料整理系列 六 hive 配置
- hadoop1.2.1集群安装hive1.2.0,用mysql作为元数据库
- HIVE安装系列之二:配置HIVE(用Mysql作为元数据仓库)
- hive资料整理系列 三 总体介绍
- hive-0.13.1安装部署(使用mysql做元数据库)
- Hive环境的安装部署(完美安装)(集群内或集群外都适用)(含卸载自带mysql安装指定版本)
- Mysql系列——数据库运维(1)——数据库版本介绍及安装-yum
- 一脸懵逼学习Hive的元数据库Mysql方式安装配置
- Hive 资料整理系列 五 Hive-0.5中SerDe概述
- Mysql系列——数据库运维(1)——数据库版本介绍及安装-bin
- HIVE 安装系列(2) mysql 安装成功