springhadoop mapreduce wordcount

<?xml version="1.0" encoding="UTF-8"?>
@SpringBootApplication
@ImportResource("bean.xml")
public class App {

public static void main(String[] args) {
SpringApplication.run(App.class, args);
}
}

这其中有个坑，官网介绍是可以集成2.6.0 hadoop的，不过我在执行的时候报错

java.lang.ClassNotFoundException: org.apache.hadoop.util.StopWatch

在之前的pom改成：

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.2</version>
<scope>compile</scope>
<exclusions>
<exclusion>
<artifactId>slf4j-log4j12</artifactId>
<groupId>org.slf4j</groupId>
</exclusion>
</exclusions>
</dependency>

启动App类，还是报错：

org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String

好了，这个是代表windows上调试hadoop需要hadoop.dll和winutils.exe，IDEA目前还不会配这个hadoop的路径，所以先放到linux上面跑一下。

打包，执行脚本开跑，结果为：







后续看看如何在IDEA上加上hadoop路径