底层的思考
2015-04-03 16:33
239 查看
spark作为上层的一套数据处理的平台,底层嵌套的东西是hadoop的一套系统。
也就是说:是hdfs,yarn的那一套东西,无论是什么上层处理平台。
使用的都会是hdfs,hadoop,而我之前搭过两个节点的hadoop的集群,其中也是分为namenode ,datanode。
其中也是有mapreduce和hive等等。
底层的系统,linux是最底下的东西,
I will know better when I start to do this.
Ok ,now the problem lies here is the adaption issues,use cloudera version hadoop ,it will be easier
整个安装过程中给我唯一的感觉就是;乱,一个不兼容问题就可能让你之前所有的努力都泡汤。
是的,这是一次失败的安装。
Two options:
I have used the apache version of this,things become not so good these days.
配置集群我感觉很麻烦,主节点和slave节点,系统版本选择,ubuntu还是redhat,配置氛围太多的东西
1:安装JAVA 2:建立用户和组 3:配置SSH,SSH的等价性(这个地方和oracle RAC很像)4:安装hadoop,配环境变量
5:配置各种环境变量:hadoop-env.sh, conf/*-site.xml core-site.xml,hdfs-site.xml,mapreduce-site.xml
这里我的问题在于我发现下载的hadoop,还有linux的版本和文档中的都不一致。
6:格式化文件系统,
7:配网络,DNS,master和slave端的配置,这里又是一堆配置文件要改:conf/slave,
conf/hdfs-site.xml,mapred-site.xml,hdfs-site.xml
8:格式化文件系统,只需要启动主节点的hadoop就可以把slave节点上的mapreduce ,hdfs,都启动起来。
9:剩下的就是各种check。
one stop wrong ,all useless
Ok ,I'm going to try this again ,try this another method
I don't know whether I will be able to make it ,but I'm going to try
也就是说:是hdfs,yarn的那一套东西,无论是什么上层处理平台。
使用的都会是hdfs,hadoop,而我之前搭过两个节点的hadoop的集群,其中也是分为namenode ,datanode。
其中也是有mapreduce和hive等等。
底层的系统,linux是最底下的东西,
I will know better when I start to do this.
Ok ,now the problem lies here is the adaption issues,use cloudera version hadoop ,it will be easier
整个安装过程中给我唯一的感觉就是;乱,一个不兼容问题就可能让你之前所有的努力都泡汤。
是的,这是一次失败的安装。
Two options:
I have used the apache version of this,things become not so good these days.
配置集群我感觉很麻烦,主节点和slave节点,系统版本选择,ubuntu还是redhat,配置氛围太多的东西
1:安装JAVA 2:建立用户和组 3:配置SSH,SSH的等价性(这个地方和oracle RAC很像)4:安装hadoop,配环境变量
5:配置各种环境变量:hadoop-env.sh, conf/*-site.xml core-site.xml,hdfs-site.xml,mapreduce-site.xml
这里我的问题在于我发现下载的hadoop,还有linux的版本和文档中的都不一致。
6:格式化文件系统,
7:配网络,DNS,master和slave端的配置,这里又是一堆配置文件要改:conf/slave,
conf/hdfs-site.xml,mapred-site.xml,hdfs-site.xml
8:格式化文件系统,只需要启动主节点的hadoop就可以把slave节点上的mapreduce ,hdfs,都启动起来。
9:剩下的就是各种check。
one stop wrong ,all useless
Ok ,I'm going to try this again ,try this another method
I don't know whether I will be able to make it ,but I'm going to try
相关文章推荐
- 业务底层 和 产品架构 的一些思考
- 关于底层的思考
- 思考HPC(高性能计算)底层结构
- 服务器底层网络框架设计的一些思考
- 服务器底层网络框架设计的一些思考
- C专家编程学习笔记——第五、六、七章:对编译器和系统底层的思考
- 学习和面试,这两件事儿 怎么去学习呀 百度、阿里面试(电面居多)都问些什么问题? 底层再底层思考,打破砂锅问到底,这是我的学习方法
- 从账户底层逻辑思考注册/登录
- 服务器底层网络框架设计的一些思考
- 结构思维——用结构化思考让数据分析到达问题的底层
- “顶层const”和“底层const”的思考
- 工作流底层数据结构与建立拓扑方程组的一些思考
- 关于block的一点思考--底层可否用全局保存上层传下来的block
- 关于深发展的思考
- PHP内核每天挖一点-数组的底层结构
- 【codeigniter】连贯操作底层原理
- 关于Javascript游戏按键操控移动的思考
- MySQL UPDATE 的一些思考
- 关于安卓View的setEnabled和setClickable的思考
- 实验帐户的思考