构建maven工程打包成jar在hadoop上执行
2014-06-27 17:41
831 查看
1.创建maven 工程。
2.编写程序并配置pom.xml。
3.执行mvn命令。
mvn clean:清理mvn install: 下载依赖包等。
mvn package: 打包成jar. 在target中可以找到。
4.启动hadoop.
sh start-dfs.shsh start-yarn.sh
5. 删除输出文件,往HDFS中添加输入文件。
(注意上一次执行的输出文件若不删除,下一次执行会中途抛错)
hdfs
dfs -rm -r hdfs://ip:port/user/username/out //删除旧的输出文件
hdfs
dfs -mkdir hdfs://ip:port/user/username/in //创建新的输入文件夹
hdfs
dfs -put in/in.txt /user/username/in //把本地的文件推入hdfs
6.运行jar包
hadoop jarhadoop-test-0.0.1-SNAPSHOT.jar package.MainName in out7.将hdfs中的文件拉到本地,并关闭hadoop。
hdfsdfs -get hdfs://ip:port/user/username/out
8. 关闭hadoop
sh stop-yarn.shsh stop-dfs.sh
注:命令太多,每次执行不太便,可以把连续的命令放在sh文件中,执行一次就可以了。
相关文章推荐
- maven构建的spring boot项目打包成可执行的jar(fat jar)
- 使用 maven 插件 maven-shade-plugin 对可执行 java 工程及其全部依赖 jar 进行打包
- Java之——使用 maven 插件 maven-shade-plugin 对可执行 java 工程及其全部依赖 jar 进行打包
- maven-assembly-plugin把java工程打包成为一个可执行的jar包
- maven-assembly-plugin把java工程打包成为一个可执行的jar包
- hadoop-maven项目打包成可执行的jar
- 如何将maven项目包含工程依赖打包成可执行的jar
- Jenkins 构建maven工程打成jar包并执行
- Maven使用maven-shade-plugin对java工程及其全部依赖打包可执行jar
- maven-assembly-plugin把java工程打包成为一个可执行的jar包
- 使用 maven 插件 maven-shade-plugin 对可执行 java 工程及其全部依赖 jar 进行打包
- 使用 maven 插件 maven-shade-plugin 对可执行 java 工程及其全部依赖 jar 进行打包
- maven-assembly-plugin把java工程打包成为一个可执行的jar包
- Eclipse Maven工程 打包jar文件(包含依赖jar) 打包过程与执行说明
- hadoop-maven项目打包成可执行的jar
- maven 打包可执行jar的方法
- 如何将maven项目打包成可执行的jar
- maven 打包可执行jar的方法
- maven工程打包成runnable的jar包,拷贝资源文件和依赖jar包
- maven的配置,maven构建工程,pom.xml文件配置,maven打包