centos下使用Intellij IDEA 编写 word count
2016-11-29 14:24
288 查看
在CentOS 使用 ideaIC 开发工具 ideaIC
准备 idealC 安装包
ideaIC-2016.3.tar.gz 下载地址
上传到centos服务器上解压
tar -xzvf ideaIC-2016.2.3.tar.gz
进入bin目录打开idea.sh 进行安装
一切按照默认安装完成
创建项目 create new project
选择默认带的JDK 也可以 new sdk 选择本地安装的jdk也
下一步 template 不选 直接下一步 输入项目名称 WordCount 点击 Finish
写一个 main 方法测试一下 成功输出test...
开始编写 wordcount
导入hadoop包 (可以把所有jar放到一个文件夹引入)
File -> Project Structure(快捷键 Ctrl + Alt + Shift + s),点击Project Structure界面左侧的“Modules”显示下图界面。
选择 Dependencies 加 右边 +
选择 1 JARs or directories...
编写代码如下:
打包
File->project stucture
Artifacts->"+",选jar,选择from modules with dependencies,然后会有配置窗口出现,配置完成后,勾选Build on make >ok保存
启动hadop sbin/start-all.sh
执行 jar 包
hadoop jar WordCount.jar z.test.WordCount /in/words /out/wordcount
-------end----------
欢迎关注精彩黑科技
准备 idealC 安装包
ideaIC-2016.3.tar.gz 下载地址
上传到centos服务器上解压
tar -xzvf ideaIC-2016.2.3.tar.gz
进入bin目录打开idea.sh 进行安装
一切按照默认安装完成
创建项目 create new project
选择默认带的JDK 也可以 new sdk 选择本地安装的jdk也
下一步 template 不选 直接下一步 输入项目名称 WordCount 点击 Finish
写一个 main 方法测试一下 成功输出test...
开始编写 wordcount
导入hadoop包 (可以把所有jar放到一个文件夹引入)
File -> Project Structure(快捷键 Ctrl + Alt + Shift + s),点击Project Structure界面左侧的“Modules”显示下图界面。
选择 Dependencies 加 右边 +
选择 1 JARs or directories...
编写代码如下:
package z.test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import java.io.IOException; /** * Created by z on . */ public class WordCount { public static void main(String[] args) throws Exception{ if(args.length == 0){ System.out.println("args is null exit...."); System.exit(0); } Configuration configuration = new Configuration(); Job job = new Job(configuration); job.setJarByClass(WordCount.class); FileInputFormat.setInputPaths(job,new Path(args[0])); FileOutputFormat.setOutputPath(job,new Path(args[1])); job.setMapperClass(TestMap.class); job.setReducerClass(TestReduce.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); job.waitForCompletion(true); System.out.println("test...."); } public static class TestMap extends Mapper{ @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] words = value.toString().split(" "); for (String word : words){ context.write(new Text(word),new IntWritable(1)); } } } public static class TestReduce extends Reducer{ @Override protected void reduce(Text key, Iterable values, org.apache.hadoop.mapreduce.Reducer.Context context) throws IOException, InterruptedException { int count = 0; for(IntWritable i : values){ count += i.get(); } context.write(key,new IntWritable(count)); } } }
打包
File->project stucture
Artifacts->"+",选jar,选择from modules with dependencies,然后会有配置窗口出现,配置完成后,勾选Build on make >ok保存
启动hadop sbin/start-all.sh
执行 jar 包
hadoop jar WordCount.jar z.test.WordCount /in/words /out/wordcount
-------end----------
欢迎关注精彩黑科技
相关文章推荐
- 使用Scala编写WordCount详细分析
- 使用Pyspark编写wordcount程序
- Hadoop集群初步使用-编写wordcount程序
- 云计算(二十三)-编写WordCount并使用MRUnit测试
- IntelliJ IDEA(Community版本)的下载、安装和WordCount的初步使用(本地模式和集群模式)
- 启动Spark Shell,在Spark Shell中编写WordCount程序,在IDEA中编写WordCount的Maven程序,spark-submit使用spark的jar来做单词统计
- 在VMWare Workstation8.0上使用ubuntu11安装和配置Hadoop群集环境04_WordCount示例
- 大数据之Hadoop平台(二)Centos6.5(64bit)Hadoop2.5.1伪分布式安装记录,wordcount运行测试
- 在map端使用关联数组实现wordcount
- CentOS下Hadoop搭建与wordcount实例运行
- 在Ubuntu中使用eclipse操作HDFS跑wordcount程序
- 利用Scala编写Wordcount并在spark框架下运行
- Storm系列(二):使用Csharp创建你的第一个Storm拓扑(wordcount)
- Eclipse 编写的spark版WordCount运行在spark上
- Spark学习笔记-如何运行wordcount(使用jar包)
- hadoop之WordCount代码编写
- CDH5.0.0使用hue中的oozie编辑器创建一个wordcount的mapreduce job
- Hadoop在Linux下伪分布式的安装以及wordcount实例的运行还有Eclipse的使用