1.4 使用Sqoop从MySQL数据库导入数据到HDFS

1.4 使用Sqoop从MySQL数据库导入数据到HDFS

先将weblog_entries.txt放入/var/lib/mysql/path/下

mkdir /var/lib/mysql/path/

cp /home/data/weblog_entries.txt /var/lib/mysql/path/weblog_entries.txt

注：以下命令都是在namenode节点运行的

实验准备

在mysql中创建数据库和表，并插入数据

1.登录mysql

mysql -uroot -phadoop

2.创建新的数据库

CREATE DATABASE logs;

3.选择logs数据库

USE logs;

4.创建weblogs表

CREATE TABLE weblogs (
md5 VARCHAR(32),
url VARCHAR(64),
request_date DATE,
request_time TIME,
ip VARCHAR(15)
);

5.往 weblogs表插入数据

LOAD DATA INFILE './path/weblog_entries.txt' INTO TABLE weblogs
FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n';

书中 最后是 ‘\t\n’ 但是这样只能导入一行，最后将‘\t’去掉，导入3000条信息

6.查询下插入的数据量（应该有3000条）

select count(*) from weblogs;

更改配置

更改mysql的my.cnf 文件

vim /etc/mysql/my.cnf

找到以下语句，注释掉（在最前面加一个 # ）

bind-address = 127.0.0.1

然后在关键字[mysqld]添加以下语句

skip-external-locking
skip-name-resolve
skip-grant-tables

最后 保存退出，然后重启下mysql

/etc/init.d/mysql restart

更改Hdfs的hdfs-site.xml 文件

vim /etc/hadoop-0.20/conf/hdfs-site.xml

添加以下语句

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

最后 保存退出

注：每个节点的hdfs-site.xml都要这样修改，然后重启hadoop服务

更改sqoop的hdfs-site.xml 文件

vim /usr/lib/sqoop/bin/configure-sqoop

将以下语句注释掉

if [ ! -d "${HBASE_HOME}" ]; then
echo "Warning: $HBASE_HOME does not exist! HBase imports will fail."
echo 'Please set $HBASE_HOME to the root of your HBase installation.'
fi

实验过程

sqoop import -m 1 --connect jdbc:mysql://namenode:3306/logs --username root --password hadoop --table weblogs --target-dir /data/weblogs/impor

对sqoop进行个人解析，会有解析不到位的地方，还请大家指出来

sqoop import -m 1 –connect 这个是固定语句

jdbc:mysql://namenode:3306/logs 这里面 namenode:3306 是指mysql安装的主机，logs 是使用到的数据库

–username root 这里的root是登录mysql的账号

–password hadoop 这里的hadoop是登录mysql的密码

–table weblogs 这里的weblogs 是需要导入到HDFS的表名

–target-dir /data/weblogs/impor 这里的 /data/weblogs/impor 是数据导入到HDFS中的那个位置