Hadoop Streaming shell 脚本命令汇总

    Hadoop Streaming由于编程相对容易，开发效率比较快，在项目中比较采用这种方式进行JOB的开发，在提交JOB的时候，都会把相关的命令整合到一个shell 文件，这里作个汇总，虽然现在没有机会做Hadoop 相关的，记下来相信会有所帮助，无论是自己还是别人。

    在编写JOB相关的脚本中，都会涉及集群输入和输出地址的定义，一般都是按照年月日并且按照文件大小进行切割，如果输入的路径下都是需要的文件，这个时候只需要定义路径的变量即可，可以利用正则匹配的方式来定义变量，如果路径下的文件需要筛选和拼接，可能会稍微麻烦点，但是Hadoop Streaming的命令对拼接的文件个数有限制，比如在map输入的时候，可以利用","将文件进行拼接，但是这里文件个数有限制，太长的话提交的时候会报错，具体数值我记不清了，大概不到2000个文件，一般情况下，当文件个数较少的时候，利用这种方式还是比较快的。下面脚本是实现一个完整的JOB提交。

#!/bin/bash
# Created by @author: xyl

######################################################################
# Hadoop Environment
# STREAMING_JAR: hadoop streaming jar
# HADOOPMAIN: hadoop main program
STREAMING_JAR=/opt/hadoop/contrib/streaming/hadoop-streaming-0.20.2-cdh3u.jar
HADOOPMAIN=/opt/hadoop/bin/hadoop

DATE=`date +%Y%m%d -d "-1day"`
YEAR=${DATE:0:4}
MONTH=${DATE:4:2}
DAY=${DATE:6:2}

######################################################################
# Hadoop Streaming Job Confs
# INPUTMAINPATH: Data Input Path, Usually A Sessionlog Directory
# INPUT: Join The Files in INPUTMAINPATH
INPUTMAINPATH=/user/flume/loginfo/$YEAR/$MONTH/$DAY
INPUT=$( $HADOOPMAIN fs -ls $INPUTMAINPATH/*.lzo | grep -E ".*nginx\.[0-9]*\.lzo$" \
| awk 'BEGIN{s=""}{s=s","$8}END{print substr(s,2)}')

######################################################################
# OUTPUT: Data Output Path In Hadoop
# JOBNAME: Displayed MapReduce's Jobname, Better Add Job Owner's Name
OUTPUT=/user/loganalysis/xyl/${DATE}

JOBNAME="${DATE}-Displaypv""(xyl)"

######################################################################
# Check Whether Output Directory Exists
if $($HADOOPMAIN fs -test -d $OUTPUT)
then
echo "Output Directory" $OUTPUT "already exists."
$HADOOPMAIN fs -rmr $OUTPUT
else
echo "Output Directory will be created!"
fi

#$HADOOPMAIN fs -rmr $OUTPUT
######################################################################
# Main Hadoop Streaming Process

$HADOOPMAIN jar ${STREAMING_JAR} \
-libjars /opt/loganalysis/libs/CustomOutputFormats.jar \
-Dmapred.job.name=$JOBNAME \
-Dmapred.reduce.tasks=1 \
-input ${INPUT} \
-output ${OUTPUT} \
-mapper mapper.py \
-reducer reducer.py \
-file /opt/xyl/hadoop/display/mapper.py \
-file /opt/xyl/hadoop/display/reducer.py \
-outputformat MultiFormats.MultiFilesOutput \
;