Spark Streaming 实战（1）搭建kafka+zookeeper+spark streaming 的windows本地开发环境

Spark Streaming 实战（1）搭建kafka+zookeeper+spark streaming 的windows本地开发环境 
暂无kafka，zookpeer集群开发环境，先搭建windows本地的单机版的在线实时计算测试环境

1，安装配置zookeeper本地开发环境：

下载zookeeper，下载地址 ： http://zookeeper.apache.org/releases.html#download
进入配置目录G:\1.BeiJingSpark\zookeeper-3.4.6\conf
将“zoo_sample.cfg”重命名为“zoo.cfg”

修改配置文件：dataDir=G:\\1.BeiJingSpark\\zookeeper-3.4.6\\tmp
修改windows的环境变量：
ZOOKEEPER_HOME   G:\1.BeiJingSpark\zookeeper-3.4.6\conf

path的配置：G:\1.BeiJingSpark\zookeeper-3.4.6\bin

2，运行zookeeper

在cmd中cd  G:\1.BeiJingSpark\zookeeper-3.4.6\bin
运行zookeeper，输入zkserver，运行Zookeeper。



显示zookeeper 已经安装成功。

3，windows本地安装kafka

下载安装kafka，下载地址http://kafka.apache.org/downloads.html

本地下载版本：kafka_2.11-0.8.2.0
安装目录：G:\1.BeiJingSpark\kafka_2.11-0.8.2.0

4，配置kafka文件配置

进入kafka目录 cd G:\1.BeiJingSpark\kafka_2.11-0.8.2.0\config 

编辑文件“server.properties”

配置参数  log.dirs=G:\1.BeiJingSpark\kafka_2.11-0.8.2.0\kafkalog
zookeeper.connect=localhost:2181 表示在本地运行

5，KAFKA本地运行

进入kafka的目录， G:\1.BeiJingSpark\kafka_2.11-0.8.2.0\bin
cmd 运行kafka ，启动kafka：
G:\1.BeiJingSpark\kafka_2.11-0.8.2.0\bin\windows\kafka-server-start.bat G:\1.BeiJingSpark\kafka_2.11-0.8.2.0\config\server.properties 

6，本地kafka测试，新建一个topic

G:\1.BeiJingSpark\kafka_2.11-0.8.2.0\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic AdClicked114

7，本地kafka 生产者生产数据

cmd 执行  G:\1.BeiJingSpark\kafka_2.11-0.8.2.0\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic AdClicked114

8，本地kafka消费者消费数据

cmd  执行 G:\1.BeiJingSpark\kafka_2.11-0.8.2.0\bin\windows\kafka-console-consumer.bat --zookeeper  localhost:2181  --topic AdClicked114



windows 本地 zookeeper kafka 安装部署ok！