spark2.0.2测试spark-shell

spark2.0.2测试spark-shell

上一篇文章介绍的是如何进行spark环境的搭建以及启动和关闭spark。本篇文章讲述的是如何在spark上利用spark-shell进行简单的测试。

下面上货：
首先看截图：



1、首先进入到命令行模式：
/home/spark/bin/spark-shell

然后就能看见spark的图标了。

2、在scala命令行中输入如下命令：

val line = sc.textFile("/wordcountinput/123")

这句话的意思是读取hdfs中的/wordcountinput/123文件
然后再使用line.count获得行总数。

3、再次使用scala命令行进行本地文件的测试：

val line= sc.textFile("file:///home/spark/conf/spark-env.sh")

测试一下本地文件/home/spark/conf/saprk-env.sh的行数。

运行截图最开始已经给出了。