实现CDH支持Spark SQL功能
2016-11-16 13:48
330 查看
实现CDH支持Spark SQL功能
标签: sparkclouderasqlCDHthirftserver
2016-08-11 13:47 384人阅读 评论(0) 收藏 举报
分类:
spark(2)
版权声明:本文为博主原创文章,未经博主允许不得转载。
CDH内嵌Spark版本不支持spark-sql,可能是因为cloudera在推自己的impala;如果上线spark却不能使用sql这种结构化语言,对于大部分分析人员其实是很不爽的!so,就手动实现支持spark-sql的功能吧
1.下载spark的包
http://www.apache.org/ -》 右上角download -》 HTTP http://apache.fayea.com/ -》 http://apache.fayea.com/spark/ -》http://apache.fayea.com/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz
2.解压spark包spark-1.6.0-bin-hadoop2.6
3.获取spark包lib中的spark-assembly-1.6.0-hadoop2.6.0.jar,
4.在cdh集群中找一个点安装原生spark,可以放到cdh的安装目录/opt/cloudera/parcels/CDH/lib/中
5.将spark包中的conf中的配置文件替换成其他cdh spark节点中spark的配置(/etc/spark/conf/)
6.在cm管理界面-spark界面-配置中修改spark-defaults.conf(Spark Client Advanced Configuration Snippet (Safety Valve) for spark-conf/spark-defaults.conf),添加spark.yarn.jar属性,值为spark-assembly-1.6.0-hadoop2.6.0.jar在hdfs上的路径(spark.yarn.jar=/spark_jars/spark-assembly-1.6.0-hadoop2.6.0.jar);在spark-env.sh中添加HADOOP_CONF_DIR=$HADOOP_CONF_DIR:/etc/Hive/conf
export HADOOP_CONF_DIR。保存修改,部署客户端配置,重启spark集群,拷贝配置到原生的spark配置中
7.启动spark sql server:在原生spark节点k3执行---》sh /opt/cloudera/parcels/CDH/lib/spark/sbin/start-thriftserver.sh
8.在任一安装spark节点执行beeline -u jdbc:hive2://k3:10000/default 进入spark sql命令行模式。
问题:
后来当在cdh spark节点submit程序时,yarn-client模式会报错
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 in stage 0.0 failed 1 times, most recent failure: Lost task 2.0 in stage 0.0 (TID 2, localhost): java.lang.RuntimeException: Stream '/jars/spark-assembly-1.6.0-hadoop2.6.0.jar' was not found.
意思是jar包冲突了,我将cdh中spark lib目录下jar包全部替换成了原生spark的lib/中jar,再次运行程序就好了。
顶0
踩0
上一篇使用QJM构建HDFS
HA架构(2.2+)
下一篇Ansj中文分词的使用
我的同类文章
相关文章推荐
- 实现CDH支持Spark SQL功能
- 编译spark源码使sparksql支持hive(cdh的)
- 在sql 里实现asp中split的功能
- 利用JOB和SQL邮件功能实现对数据库的定时备分
- 存储过程分页实现代码,2005 T-SQL新增功能
- 利用T-SQL语句,实现数据库的备份与还原的功能
- 利用T-SQL语句,实现数据库的备份与还原的功能
- 文件上传的实现 (马马 2001年09月28日 17:14) PHP同样支持上传文件的功能,但并不是所有支持PHP的网站都支持此功能,特别是免费的网站。 实现上传,首先要在HTML上加入上传文件的“<FORM>”表格。 <form me
- SQL实现类似C#的Split()函数的功能
- SQL 2005的ROW_NUMBER()实现分页的功能
- Oracle 9 中PL/SQL实现FTP功能的文件传输
- 一个SQL语句实现的统计功能
- 1.1.22. typeid()关键字 (RTTI支持) typeid 的参数必须含有虚函数才能实现以下功能
- 支持多种编码的中文字符串截取函数! AND 函数实现解压功能
- 一条SQL语句实现归档功能
- 利用sql语句实现的几个功能
- 在XPO中实现sql中的函数功能
- 用SQL 2005的ROW_NUMBER() 实现分页功能
- SQL实现split功能的函数
- 自己编写的一个Json工具类,实现了反射将整个Object转换为Json对象的功能,支持Hibernate的延迟加载对象[修订081217]