Spark Streaming java实现简单例子(一)

1. 背景：之前已经学习过Spark SQL的相关知识，现在开始对Spark的另一模块Streaming部分进行学习。首先是参考官网上的Demo进行样例的编写，但是发现代码有点问题，百度之后发现，在一处代码处发现问题，所以写此文。

2. 介绍：一些博客上的

JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String,String>(){ //如果是Scala，由于SAM装换，可以写成val words = lines.flatMap{line => line.split("　＂)}

@Override
public Iterable<String> call(String line) throws Exception {

return Arrays.asList(line.split(" "));//将其变成Iterable的子类
}
});

或者官网上

// Split each line into words
JavaDStream<String> words = lines.flatMap(x -> Arrays.asList(x.split(" ")).iterator());

对于此处，都是有问题的，应该是

 

JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
public Iterator<String> call(String line) throws Exception {
String aStr[] = line.split(",");
return Arrays.asList(aStr).iterator();
}
});

此处值得注意，需要了解一下Interator，通过http://www.cnblogs.com/chenssy/p/3821328.html 认识到list可以转化。

Iterator iterator = list.iterator();        while(iterator.hasNext()){            String string = iterator.next();            //do something        }

3. 对于之前提及的IDEA中设置本地执行Spark程序，然后在虚拟机中执行

$ nc -lk 9999

同时，输入例如“Hello,world”，即可实现streaming的简单样例