您的位置:首页 > 运维架构

如何手动更新Kafka中某个Topic的偏移量

2016-08-31 23:29 344 查看
本文介绍如何手动跟新zookeeper中的偏移量。我们在使用kafka的过程中,有时候需要通过修改偏移量来进行重新消费。我们都知道offsets是记录在zookeeper中的,所以我们想修改offsets的值只要修改zookeeper中的offsets值就可以了。修改offsets值有几种方法,这里介绍最直接的一种修改方法,就是直接手动修改zookeeper中记录的offsets值。

 

首先进入zk客户端

     zkCli.sh  -server  localhost:2181

 

Offsets值记录在zk客户端具体的路径为  

/consumers/[group
4000
Id]/offsets/[topic]/[partitionId]

 

比如查看test3主题0分区下的offsets

[zk: localhost:42182(CONNECTED) 22] get /consumers/group1/offsets/test3/0

 


Offsets=215161

 

然后修改你想要修改的哪个topic下的哪个partition的offsets就可以了。

修改test3主题0分区下的offsets值为100

 


这样就修改了Offsets

我们再用上诉命令查看一下Offsets

查看test3主题0分区下的offsets

[zk: localhost:42182(CONNECTED) 22] get /consumers/group1/offsets/test3/0

 


Offsets=100

 

修改完大家再重新消费一下就会发现已经可以消费出以前的数据了。

 

想了解关于重新消费问题可以关注本博客其他文章
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息