hadoop命令及hive数据库操作语句的简单使用

一、hadoop

1.Hadoop查询文件属性详细信息:du -lh

2.如果没有配置hadoop环境变量, 则应到hadoop的bin目录,执行hadoop命令,如:

第一步: cd /home/hms/hadoop/hadoop-2.6.0/bin ;

第二步: ./hadoop fs -ls /userrepot

注: “./”指本地

3.简单hadoop命令

①查询hadoop文件系统中的/test路径下文件信息: hadoop fs -ls /test

②查看文件: hadoop fs -cat /test/text.txt

4.reduce中对于List的排序, List里的对象不能是text类型, 否则可能会一直是第一个数据.这里可以把对象值toString()一下,变成String类型即可.

5.reduce中获取map集合的value值时,不要将数据以byte数组存储, 否则下一次的value数据不会重新创建值空间, 而是会在上次的数据后面进行追加, 这样取出来的数据就是有问题的.

二、hive数据库操作语句

删除表

DROP TABLE IF EXISTS table_name;

复制表

CREATE TABLE empty_table_name LIKE table_name;

创建表

create table bigdata_analyze_seq_20151012(id int, name string, age int, tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ STORED AS TEXTFILE;

插入数据

load data inpath ‘/home/analyze/seq.txt’ into table bigdata_analyze_seq_20151012