基于cdh5.4.2的Zeppelin编译安装
2016-04-12 18:29
309 查看
1、先安装nodejs和npm,根据zeppelin-web下的pom.xml中的
<execution>
<id>install node and npm</id>
<goals>
<goal>install-node-and-npm</goal>
</goals>
<configuration>
<nodeVersion>v0.10.22</nodeVersion>
<npmVersion>1.3.8</npmVersion>
</configuration>
</execution>
来确定要安装的版本
2、设置npm config set registry "http://registry.npmjs.org/"
3、npm install -g bower,安装完成后测试下bower是否加入环境变量
4、npm install -g grunt-cli,安装完成后测试下grunt是否加入环境变量
5、删除zeppelin-web下的pom.xml中的
然后在zeppelin-web目录下依次执行
npm install,
bower --allow-root install,
grunt --no-color --force,
mvn install -DskipTests,
把web项目打包,在target目录下会生成war
6、在项目根目录下执行(根据你的需求替换版本)
7、完成后zeppelin-distribution找到打好的包
8、配置(黑色为必填项,红色为pyspark配置看http://my.oschina.net/ldl123292/blog/657531)
/conf/zeppelin-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_45
export SPARK_HOME=/home/spark-1.6.0-bin-hadoop2.6
export PYSPARK_PYTHON=/home/spark-1.6.0-bin-hadoop2.6/python
export PYTHONPATH=/home/spark-1.6.0-bin-hadoop2.6/python:/home/spark-1.6.0-bin-hadoop2.6/python/lib/py4j-0.9-src.zip
export MASTER=spark://hadoop02:7077
/conf/zeppelin-site.xml(修改项目端口号)
<property>
<name>zeppelin.server.port</name>
<value>8800</value>
<description>Server port.</description>
</property>
9、zeppelin-0.5.6-incubating/lib下将jackson-*-2.5.0.jar替换为jackson-*-2.4.4.jar,不替换好像是无法执行sc.textFile之类的
10、启动
<execution>
<id>install node and npm</id>
<goals>
<goal>install-node-and-npm</goal>
</goals>
<configuration>
<nodeVersion>v0.10.22</nodeVersion>
<npmVersion>1.3.8</npmVersion>
</configuration>
</execution>
来确定要安装的版本
2、设置npm config set registry "http://registry.npmjs.org/"
3、npm install -g bower,安装完成后测试下bower是否加入环境变量
4、npm install -g grunt-cli,安装完成后测试下grunt是否加入环境变量
5、删除zeppelin-web下的pom.xml中的
<plugin> <groupId>com.github.eirslett</groupId> <artifactId>frontend-maven-plugin</artifactId> <version>0.0.23</version> <executions> <execution> <id>install node and npm</id> <goals> <goal>install-node-and-npm</goal> </goals> <configuration> <nodeVersion>v0.10.22</nodeVersion> <npmVersion>1.3.8</npmVersion> </configuration> </execution> <execution> <id>npm install</id> <goals> <goal>npm</goal> </goals> </execution> <execution> <id>bower install</id> <goals> <goal>bower</goal> </goals> <configuration> <arguments>--allow-root install</arguments> </configuration> </execution> <execution> <id>grunt build</id> <goals> <goal>grunt</goal> </goals> <configuration> <arguments>--no-color</arguments> </configuration> </execution> </executions> </plugin>
然后在zeppelin-web目录下依次执行
npm install,
bower --allow-root install,
grunt --no-color --force,
mvn install -DskipTests,
把web项目打包,在target目录下会生成war
6、在项目根目录下执行(根据你的需求替换版本)
mvn clean package -Pbuild-distr -Pspark-1.6 -Phadoop-2.6 -Pyarn -Ppyspark -Dhadoop.version=2.6.0-cdh5.4.2 -Pvendor-repo -DskipTests
7、完成后zeppelin-distribution找到打好的包
8、配置(黑色为必填项,红色为pyspark配置看http://my.oschina.net/ldl123292/blog/657531)
/conf/zeppelin-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_45
export SPARK_HOME=/home/spark-1.6.0-bin-hadoop2.6
export PYSPARK_PYTHON=/home/spark-1.6.0-bin-hadoop2.6/python
export PYTHONPATH=/home/spark-1.6.0-bin-hadoop2.6/python:/home/spark-1.6.0-bin-hadoop2.6/python/lib/py4j-0.9-src.zip
export MASTER=spark://hadoop02:7077
/conf/zeppelin-site.xml(修改项目端口号)
<property>
<name>zeppelin.server.port</name>
<value>8800</value>
<description>Server port.</description>
</property>
9、zeppelin-0.5.6-incubating/lib下将jackson-*-2.5.0.jar替换为jackson-*-2.4.4.jar,不替换好像是无法执行sc.textFile之类的
10、启动
相关文章推荐
- 【发布】JEECG-P3 新主题后台风格(H5扁平化)
- HTML5&CSS3:[1]如何使用Flexbox伸缩盒
- HTML5 语义元素(一)页面结构
- HTML5新特性之离线缓存技术
- 判断用户是否在看当前网页以及判断某个元素是否在网页可视区域
- 判断用户是否在看当前网页以及判断某个元素是否在网页可视区域
- HTML5 地理定位
- HTML5火焰文字特效DEMO演示---转载
- 将HTML5 Canvas的内容保存为图片借助toDataURL实现
- html5拖拽
- HTML5之FileReader的使用
- HTML5 内联 SVG
- HTML5中的服务器‘推送’技术 -Server-Sent Events
- 去除HTML5 SUMMARY 标签前的三角形
- html5生成柱状图(条形图)
- HTML5中Access-Control-Allow-Origin解决跨域问题
- html5绘制折线图
- 前端开发学习笔记06---HTML5
- html运用(二) html5前端开发基础–html5 meta全解
- HBase零基础高阶应用实战(CDH5、二级索引、实践、DBA)