Kafka发送消息到HDFS

本文采用的是kafka0.7.2，安装好kafka后在kafka的contrib目录下有关于kafka与hadoop的一系列文件，我们可以使用hadoop-consumer目录下的脚本及配置文件将kafka中某topic的信息发送到HDFS中。
1.修改test目录下的test.properties的配置文件。




kafka.etl.topic：topic的名称
hdfs.default.classpath.dir：hdfs的类路径
input：HDFS的输入路径
output：HDFS的输出路径
2.生成topic的offset
执行命令./run-class.sh kafka.etl.impl.DataGenerator test/test.properties，会在HDFS的/tmp/kafka/data目录下生成.dat的文件
3.复制kakfa的相关jar到HDFS的类路径
执行命令./copy-jars.sh /usr/lib/hadoop/lib
4.运行hadoop job
./run-class.sh kafka.etl.impl.SimpleKafkaETLJob test/test.properties,该job会将kafka中test-topic该话题的消息写入HDFS中。
在HDFS的/tmp/kafka/output目录中我们会看到写入的消息。