zookeeper,zuki,mavn和kafka的简单部署

准本工作：1. 安装java并配置配置java环境变量

2. 建zookeeper文件夹和kafka文件夹

3.下载zookeeper，kafka，zkui，mavn的压缩包，去apache官网下载即可

4.将下载好的zookeeper，zkui，mavn压缩上传到zookeeper文件夹下，kafka压缩包放到kafka文件夹下

安装zookeeper

1. 进入zookeeper文件夹下解压zookeeper文件，生成一个zookeeper-x.x.x.的文件夹



2.进入该文件夹的conf文件中修改zoo.zfg

dataDir=自己的data目录的绝对路径

dataLogDir=自己的logs目录的绝对路径

server.1=自己的主机名（或者IP）:4887:5887 ，如果没有需求。可以对server2~4注释



3. 启动zookeeper

可能会出现bin下执行权限丢失的情况，所以先修改bin下的文件权限，添加执行权限

chmod +x *



然后bin/zkServer.sh start



查看一下jps



查看启动后的状态bin/zkServer.sh status

停止ZK服务: [shaka@iZ25fnur5jkZzookeeper]$ bin/zkServer.sh stop

重启ZK服务: [shaka@iZ25fnur5jkZzookeeper]$ bin/zkServer.sh restart

zk的初始化目录为：get/zookeeper/quota

4. 启动zookeeper的客户端

bin/zkCli.sh -server自己的IP:2181



然后zk客户端命令

1. 显示根目录下、文件： ls / 使用 ls 命令来查看当前 ZooKeeper 中所包含的内容

2. 创建文件，并设置初始内容： create /zk "test" 创建一个新的 znode节点“ zk ”以及与它关联的字符串

3. 获取文件内容： get /zk 确认 znode 是否包含我们所创建的字符串

4. 修改文件内容： set /zk "zkbak" 对 zk 所关联的字符串进行设置

5. 删除文件： delete /zk 将刚才创建的 znode 删除

6. 退出客户端： quit

7. 帮助命令： help

安装zkui

1.进入zookeeper目录下解压zkui，会生成一个zkui目录

安装mvn

1. 进入zookeeper文件夹解压mvn文件，会生成一个apache-maven-x.x.x文件

进入该文件下给bin下的文件添加权限

chmod +x *



2. 然后修改配置文件

vim ~/.bash_profile

export MVN_HOME=自己的路径

export PATH=$PATH:$MVN_HOME/bin

修改完成后source~/.bash_profile 使其生效



3. 进入zkui目录

mvn clean install(需要联网)

4. 建好软连接

ln -s target/zkui-2.0-SNAPSHOT-jar-with-dependencies.jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar

5. 修改配置文件vimconfig.cfg

zkServer=主机名(或者IP)：2181



启动：nohup java-jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &

查看：http://自己的IP:9090 或者 jps -l

登录账号

"username":"admin" ,"password":"manager"





日志：zkui-out.log nohup.out

创建一个node： 以自己名字命名

(注:如果没有在zookeeper客户端输入数据。这儿网页可能会报500错误，也就是空指针异常)

kafka部署(mkdir 一个kafka 文件)

1.进入kafka目录下解压kafka,会生成一个kafka_x.x.x-x.x.x.x.的文件

2.进入该文件中修改配置文件

vim conf/server.properties

broker.id=0

host.name=自己的ip

zookeeper.connect=自己的IP:2181可逗号分隔配置多个



3.确保bin目录和sbin目录下文件有执行权限

chmod +x sbin/*

chomod +x bin/*

4.修改配置文件 vim log4j.properties

log4j.appender.D.File = 自己的路径/logs/debug.log

log4j.appender.E.File = 自己的路径/logs/error.log



5.启动kafka服务

sbin/start-kafka.sh

查看是否启动： jsp –l



6.创建topic主题：

bin/kafka-topics.sh --create --zookeeper 自己的IP:2181--replication-factor 1 --partitions 1--topic 自己改的名字 （IP不能是localhost）



7.启动consumer

bin/kafka-console-consumer.sh --zookeeper 自己的主机名或IP:2181 --topic 自己改名字

（IP不能localhost）

8.另开一个窗口启动productor

bin/kafka-console-producer.sh --broker-list 自己的主机名:9092 --topic自己改名字

在productor端输入，看consumer端的输出。





生成日志

1用脚本shelllogger.sh测试



修改脚本

将log一行加#注释

然后添加

log="INSERT INTO test(user,content) VALUES('你的名字'，'你的内容')"

2. 启动

nohup sh shellcrawler.sh >>shellcrawler.log 2>&1 &

将日志实时传送到kafka指定主题中

在kafka目录下执行

nohup tail - f 自己的路径/logger/access.log | bin/kafka-console-producer.sh --broker-list 自己的主机名:9092--topic 自己改的名字 >logs/producer.log 2>&1 &