Flink快速上手之Java API使用
2017-12-16 22:30
531 查看
要求
编写你的Flink Java程序唯一的要求是需要安装Maven 3.0.4(或者更高)和Java 7.x(或者更高)
创建Flink Java工程
使用下面其中一个命令来创建Flink Java工程1、使用Maven archetypes:
检查工程
您的工作目录中会出现一个新的目录。如果你使用了curl命令来创建Flink Java工程,这个目录的名称是 quickstart。否则,就是你输入的artifactId名字。这个工程是一个Maven工程, 包含三个类。
Job是一个基本的框架程序,
SocketTextStreamWordCount和
WordCount是一个简单的单词次数计算示例。需要注意的是,这三个类的main
方法都允许你在开发/测试模式下启动Flink。
我们推荐将这个工程导入到你的IDE中,并进行开发和测试。 如果你用的是Eclipse, 可以使用m2e插件来导入 Maven 工程。有些Eclipse发行版 默认嵌入了这个插件,其他的需要你手动去安装。IntelliJ IDE内置就提供了对Maven 工程的支持。
给Mac OS X用户的建议:默认的JVM堆内存对Flink来说太小了,你必须手动增加内存。这里以Eclipse 为例,依次选择
Run Configurations -> Arguments, 然后在
VM Arguments里写入:
-Xmx800m。
编译工程
如果你想要编译你的工程, 进入到工程所在目录,并输入 mvn clean install -Pbuild-jar命令。 你将会找到
target/your-artifact-id-1.0-SNAPSHOT.jar文件,它可以在任意的Flink集群上运行。
还有一个fat-jar,名为
target/your-artifact-id-1.0-SNAPSHOT-flink-fat-jar.jar,包含了所有添加到
Maven 工程的依赖。
下一步
开始编写我们自己的程序Quickstart 工程包含了一个 WordCount 的实现,也就是大数据处理系统的 Hello World。WordCount 的目标是计算文本中单词出现的频率。比如: 单词 “the” 或者 “house” 在所有的Wikipedia文本中出现了多少次。
样本输入
LineSplitter类。
相关文章推荐
- Arquillian测试框架快速上手教程(三)- 使用 Arquillian 进行Java持久化测试
- Eclipse快速上手指南之使用ANT
- Eclipse快速上手Hibernate--3. 利用XDoclet开发(摘自javamxj的blog)
- Eclipse快速上手Hibernate--4. 继承映射(1)(摘自javamxj的blog)
- 快速上手Spring--4.安装和使用SpringIDE
- Eclipse快速上手Hibernate--4. 继承映射(2)(摘自javamxj的blog)
- Eclipse快速上手指南之使用CVS
- java Logging API 使用
- Eclipse快速上手指南之使用Ant
- [转载]Eclipse快速上手指南之使用CVS
- 快速上手,使用 JS 配合XML-RPC(JSP)实现AJAX类型应用
- Eclipse快速上手指南之使用Ant
- 使用Java蓝牙无线通讯技术API(第一部分 -API概览)(1)
- 快速上手Spring--6. Singleton的使用与否
- Eclipse快速上手Hibernate--5. 关联映射(一对一) 选择自 javamxj 的 Blog
- Eclipse快速上手Hibernate--5. 关联映射(一对一) 选择自 javamxj 的 Blog
- Eclipse快速上手指南之使用CVS
- Eclipse快速上手指南之使用Ant
- Eclipse快速上手指南之使用CVS
- 使用JavaExcel API 往excel中插入图片