Kafka快速上手(2017.9官方翻译)
2017-09-30 15:07
246 查看
快速开始
本教程假定您正在开始新鲜,并且没有现有的Kafka或ZooKeeper数据。由于Kafka控制台脚本在基于Unix和Windows平台上不同,因此在Windows平台上使用bin\windows\而不是
bin/更改脚本扩展名
.bat。
步骤1:下载代码
下载 0.11.0.1版本和un-tar。步骤2:启动服务器
Kafka使用ZooKeeper,所以你需要先启动一个ZooKeeper服务器,如果你还没有。您可以使用随kafka一起打包的便捷脚本来获取一个快速和脏的单节点ZooKeeper实例。步骤3:创建主题
我们用单个分区创建一个名为“test”的主题,只有一个副本:步骤4:发送一些消息
Kafka附带一个命令行客户端,它将从文件或标准输入中输入,并将其作为消息发送到Kafka集群。默认情况下,每行将作为单独的消息发送。运行生产者,然后在控制台中输入一些消息以发送到服务器。
步骤5:启动消费者
卡夫卡还有一个命令行消费者将把消息转储到标准输出。所有命令行工具都有其他选项; 运行没有参数的命令将显示更详细的记录它们的使用信息。
步骤6:设置多代理群集
到目前为止,我们一直在运行一个单一的经纪人,但这没有乐趣。对于Kafka,单个代理只是一个大小为1的集群,所以没有什么改变,除了启动更多的代理实例。但是为了让它感觉到,让我们将集群扩展到三个节点(仍然在本地机器上)。首先我们为每个经纪人设置一个配置文件(在Windows上使用
copy命令):
broker.id属性是集群中每个节点的唯一和永久名称。我们必须覆盖端口和日志目录,只因为我们在同一台机器上运行这些目录,我们希望让经纪人不要在同一个端口上注册或覆盖对方的数据。
我们已经有Zookeeper,我们的单节点启动,所以我们只需要启动两个新节点:
“leader”是负责给定分区的所有读取和写入的节点。每个节点将成为随机选择的分区部分的引导者。
“replicas”是复制此分区的日志的节点列表,无论它们是领先者还是现在都是活着的。
“isr”是一组“同步”副本。这是副本列表的子集,它目前是生存和追赶领导者的。
请注意,在我的示例中,节点1是主题唯一分区的领导者。
我们可以在我们创建的原始主题上运行相同的命令来查看它的位置:
让我们发布一些消息到我们的新主题:
步骤7:使用Kafka Connect导入/导出数据
从控制台编写数据并将其写回控制台是一个方便的开始的地方,但您可能希望使用其他来源的数据或将数据从卡夫卡导出到其他系统。对于许多系统,不用编写自定义集成代码,您可以使用Kafka Connect导入或导出数据。Kafka Connect是Kafka的一个工具,用于将数据导入和输出到Kafka。它是一个可扩展的工具,运行 连接器,实现与外部系统交互的自定义逻辑。在这个快速启动中,我们将看到如何使用从文件导入数据到Kafka主题并将数据从Kafka主题导出到文件的简单连接器运行Kafka Connect。
首先,我们将首先创建一些种子数据进行测试:
在启动期间,您将看到一些日志消息,其中包括一些表示连接器正在实例化的消息。一旦Kafka Connect进程开始,源连接器应该开始读取线路
test.txt并将其生成到主题
connect-test,并且接头连接器应该开始从主题读取消息
connect-test并将其写入文件
test.sink.txt。我们可以通过检查输出文件的内容来验证数据是否通过整个流水线传递:
connect-test,因此我们还可以运行控制台消费者来查看主题中的数据(或使用自定义消费者代码来处理它):
步骤8:使用Kafka Streams处理数据
Kafka Streams是用于构建关键任务实时应用程序和微服务的客户端库,其中输入和/或输出数据存储在Kafka群集中。Kafka Streams将客户端的编写简单性和部署标准Java和Scala应用程序与Kafka服务器端集群技术的优势相结合,使这些应用程序具有高度可扩展性,可扩展性,容错性,分布式等特点。此快速入门示例将演示如何运行在此库中编码的流应用程序。相关文章推荐
- Kafka快速上手(2017.9官方翻译)
- Kafka官方文档翻译(二)快速入门
- Kafka官方文档-快速入门
- Kafka快速上手教程 1
- CodeSmith向导-CodeSmith快速上手向导(翻译)
- kafka官方文档翻译-introduction
- tinyxml:快速入门----一个官方带说明示例的翻译
- 快速上手RaphaelJS--RaphaelJS_Starter翻译(二)
- Kafka快速上手教程 2
- 快速上手RaphaelJS--RaphaelJS_Starter翻译(三)
- Kafka官方文档翻译(一)产品概述
- 翻译www.djangobook.com之第二章:Django快速上手
- Kafka快速上手教程 3
- 官方 React 快速上手脚手架 create-react-app
- kafka官方文档-快速开始
- Kafka官方文档翻译——简介
- Kafka快速上手教程 4
- Gensim官方教程翻译——快速入门
- Gensim官方教程翻译——快速入门
- Kafka快速上手