windows 基于docker下的 spark 开发环境搭建
2017-02-08 02:23
465 查看
docker toolbox
https://www.docker.com/products/docker-toolbox
spark
https://hub.docker.com/r/singularities/spark/~/dockerfile/
# start-hadoop-namenode
# hadoop fs -mkdir /user
# hadoop fs -mkdir /user/root/
# hadoop fs -put ./README.md /user/root
# start-spark
# start-spark worker [master]
# spark-shell
# spark-shell --master spark://a60b8c8f9653:7077
scala> val lines = sc.textFile("file:///usr/local/spark-2.1.0/README.md")
scala> val lines = sc.textFile("hdfs:///usr/local/spark-2.1.0/README.md")
lines: org.apache.spark.rdd.RDD[String] = file:///usr/local/spark-2.1.0/README.md MapPartitionsRDD[1] at textFile at <console>:24
scala> lines.count()
res0: Long = 104
scala> lines.saveAsTextFile("hdfs:///user/root/README2.md") // 保存到hdfs
https://www.docker.com/products/docker-toolbox
spark
https://hub.docker.com/r/singularities/spark/~/dockerfile/
# start-hadoop-namenode
# hadoop fs -mkdir /user
# hadoop fs -mkdir /user/root/
# hadoop fs -put ./README.md /user/root
# start-spark
# start-spark worker [master]
# spark-shell
# spark-shell --master spark://a60b8c8f9653:7077
scala> val lines = sc.textFile("file:///usr/local/spark-2.1.0/README.md")
scala> val lines = sc.textFile("hdfs:///usr/local/spark-2.1.0/README.md")
lines: org.apache.spark.rdd.RDD[String] = file:///usr/local/spark-2.1.0/README.md MapPartitionsRDD[1] at textFile at <console>:24
scala> lines.count()
res0: Long = 104
scala> lines.saveAsTextFile("hdfs:///user/root/README2.md") // 保存到hdfs
相关文章推荐
- Windows下基于eclipse的Spark应用开发环境搭建
- (大数据)转载:Windows下基于eclipse的Spark应用开发环境搭建
- MyEclipse Android2.2 开发环境搭建、配置(基于Windows 7操作系统、MyEclipse8.5、Android2.2)
- [.NET] 在Windows系统中搭建基于.NET的iPhone应用程序虚机开发环境
- 【转】 转:基于Windows 7旗舰版搭建WinCE6.0开发环境的过程
- Windows平台上iPhone SDK基于cygwin开发环境的搭建方法
- Windows平台上iPhone基于cygwin开发环境的搭建方法
- 基于Windows 7旗舰版搭建WinCE6.0开发环境的过程
- windows下基于cygwin,eclipse搭建hadoop开发环境
- 搭建Windows下基于Eclipse的PHP开发环境
- 【转】Windows下基于ADS+J-Link 的ARM开发环境搭建
- 基于Windows 7旗舰版搭建WinCE6.0开发环境的过程
- Windows平台上iPhone基于cygwin开发环境的搭建方法
- [转] 搭建Windows下基于Eclipse的PHP开发环境
- 搭建Windows下基于Eclipse的PHP开发环境
- 搭建Windows下基于Eclipse 的 PHP 开发环境
- Windows平台上iPhone SDK基于cygwin开发环境的搭建方法
- 搭建 Windows 下基于 Eclipse 的 PHP 开发环境
- 基于Windows环境下的PHP开发环境搭建
- 基于Windows环境下的PHP开发环境搭建