Spark生态之Alluxio学习12--spark调用alluxio-1.3.0配置
2016-11-10 14:55
531 查看
更多代码请见:https://github.com/xubo245/SparkLearning
Spark生态之Alluxio学习 版本:alluxio(tachyon) 1.3.0,spark-1.5.2,hadoop-2.6.0
或者:
参考
Spark生态之Alluxio学习 版本:alluxio(tachyon) 1.3.0,spark-1.5.2,hadoop-2.6.0
1.解释
alluxio-0.7.1 启动的时候spark集群直接可以调用,但是alluxio-1.3.0需要自动配置2.代码:
2.1 下载
http://www.alluxio.org/download 下选择:alluxio spark client
或者:
http://downloads.alluxio.org/downloads/files/1.3.0/alluxio-1.3.0-spark-client-jar-with-dependencies.jar
2.2 配置
请添加如下代码到spark/conf/spark-defaults.conf:spark.driver.extraClassPath /home/hadoop/cloud/alluxio-1.3.0/jar/alluxio-1.3.0-spark-client-jar-with-dependencies.jar spark.executor.extraClassPath /home/hadoop/cloud/alluxio-1.3.0/jar/alluxio-1.3.0-spark-client-jar-with-dependencies.jar
2.2 启动
重启spark集群
3.结果:
spark-shell可以操作alluxio集群scala> val rdd1= sc.textFile("hdfs://Master:9000//xubo/project/SparkSW/input/D1Line.fasta") rdd1: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[1] at textFile at <console>:21 scala> rdd1.count res0: Long = 78295 scala> rdd1.saveAsTextFile("alluxio://Master:19998/D1Line.fasta")
参考
【1】https://github.com/Alluxio/alluxio 【2】http://www.alluxio.org/ 【3】http://spark.apache.org/docs/1.5.2/programming-guide.html 【4】https://github.com/xubo245/SparkLearning
相关文章推荐
- Spark生态之Alluxio学习11--alluxio-1.3.0集群配置
- Spark生态之Alluxio学习13--Alluxio-1.3.0启动疑问
- Spark生态之Alluxio学习4---下载源码通过maven install安装失败记录
- Spark生态之Alluxio学习9---Auuxio(Tachyon)的优点
- Spark生态之Alluxio学习21--疑问:为什么master看不到D9,而work节点有D9部分数据?
- Spark生态之Alluxio学习25--spark从HDFS和Alluxio读取时间比较
- Spark生态之Alluxio学习5--tachyon的几个问题(待解决)
- Spark生态之Alluxio学习16--将alluxio文件的block大小修改
- Spark生态之Alluxio学习22--saveAsTextFile alluxio后count (有bug)
- Spark生态之Alluxio学习18--alluxio work 3000出现问题
- Spark生态之Alluxio学习7--下载源码通过maven安装成功
- Spark生态之Alluxio学习14--alluxio内存文件加载方式和分布情况分析
- Spark生态之Alluxio学习2---Spark从tachyon中读取文件
- Spark生态之Alluxio学习8---集群版搭建问题之集群无法全部启动
- Spark生态之Alluxio学习24--分别读取HDFS和Alluxio的数据进行line count比较分析
- Spark生态之Alluxio学习20--疑问:为什么D7-D9到最后的count时间都是30s左右?
- Spark生态之Alluxio学习17--多次运行Space Usage增加
- Spark生态之Alluxio学习10--集群问法全部启动问题解决
- Spark生态之Alluxio学习19--alluxio性能提升分析与实验1
- Spark生态之Alluxio学习6---集群版搭建和运行(Tachyon)