【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0020--IDEA搭建maven管理的集成开发环境002
2017-11-15 10:30
971 查看
二、开发并运行flink程序
1. 创建package和object(略)
2. 编写程序
package code.book.idetes import org.apache.flink.api.scala._ object WordCountJob { def main(args: Array[String]) { // 1.设置运行环境 val env = ExecutionEnvironment.getExecutionEnvironment //2.创造测试数据 val text = env.readTextFile("hdfs://qingcheng11:9000/input/flink/README.txt") //3.进行wordcount运算 val counts = text.flatMap(_.toLowerCase.split("\\W+")) .map((_, 1)).groupBy(0).sum(1) //4.打印测试结构 counts.print() } }
3.运行效果
三、打包到服务器上运行
1.在pom.xml的中配置打包插件
<project> <build> <!--设置src的目录和test的根目录--> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory>src/test/scala</testSourceDirectory> <pluginManagement> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-jar-plugin</artifactId> <configuration> <archive> <manifest> <!--设置程序的入口类--> <mainClass>code.book.idetes.WordCountJob</mainClass> <addClasspath>true</addClasspath> <classpathPrefix>lib/</classpathPrefix> </manifest> </archive> <classesDirectory> </classesDirectory> </configuration> </plugin> </plugins> </pluginManagement> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> </plugins> </build> </project>
2.打包程序
如果顺利的话,在进行package操作后,将会生成。simple-flink-1.0-SNAPSHOT.jar文件 此文件的名称跟我们在maven的pom.xml配置是有关系的。因为在pom.xml中配置了 <artifactId>simple-flink</artifactId> <version>1.0-SNAPSHOT</version> 所以产生了文件simple-flink-1.0-SNAPSHOT.jar
3.上传到服务器,并运行jar
${FLINK_HOME}/bin/flink run -m qingcheng11:6123 simple-flink-1.0-SNAPSHOT.jar
相关文章推荐
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0019--IDEA搭建maven管理的集成开发环境001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0017--IDEA搭建非maven管理的集成开发环境002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0018--IDEA搭建非maven管理的集成开发环境003
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0016--IDEA搭建非maven管理的集成开发环境001
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础002--flink特性:流处理特性介绍
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础008--flink分布式部署003
- 云星数据---Apache Flink实战系列(精品版)】:Flink其他操作及内容002-Flink基于流的windowAndFunction操作001
- 【云星数据---Apache Flink实战系列(精品版)】:Flink基础--001:flink介绍
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0013--flink分布式部署008
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用002-Flink的内存管理002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础007--flink分布式部署002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用016-Flink中广播变量和分布式缓存002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用022-Flink中OutFormat设置(Scala版)002
- 云星数据---Apache Flink实战系列(精品版)】:Flink流处理API详解与编程实战004-Flink基于流的window操作002
- 云星数据---Apache Flink实战系列(精品版)】:Flink流处理API详解与编程实战013-Flink在流处理中常见的sink和source002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用005-Flink的作业调度情况002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础004--flink特性:类库和API示例
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础003--flink特性:流处理,批处理珠联璧合
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0012--flink分布式部署007
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink高级特性与高级应用007-Slot和Parallelism的深入分析002