shell脚本在容器云中搭建hadoop集群(七)
2017-09-14 22:46
239 查看
总结一下今天的学习过程
1,用一句描述我今天上午的感受:这两天白忙活了
hadoop集群子所以不能正确完整启动成功:是因为分配的内存不够用,分配的内存不够用,分配的内存不够用(重要的事说三遍)
今天上午师兄调试我写的脚本,发现很慢,他说不应该这么慢的,查找发现没有什么大问题,看了下内存剩余空间以及我镜像的大小,说有点不合理,而且我的hadoop集群三个容器跑在一个主节点上,相对于docker来说,根本没有什么集群的概念在里面,于是我把另外两个docker节点关闭,为docker主节点增加内存到6.8G,奇迹发生了,竟然成功了,当时的心情是无语凝噎的,,,,,
需要修改的地方:
应使用kubernetes的flannel组件管理网络地址,用来固定容器主机名与IP地址的绑定,不使用bridge-utils以及pipework
将脚本再次整合,合理
明天将脚本在裸机上测试,验证
2,中午和师兄探讨了接下的任务,以及思考了我未来几个月要做学的大概知识。
3,下午新组装了一个机器,可悲的是数据丢失了,不停地分区,结果将数据盘整成逻辑分区了,数据丢失了,用工具恢复了一小部分,哎可悲
4,晚上继续看了MongoDB数据库开发结合mongoengine写了测试样例,以及观看了数据库开发的应用案例
充实的一天,明天加油
1,用一句描述我今天上午的感受:这两天白忙活了
hadoop集群子所以不能正确完整启动成功:是因为分配的内存不够用,分配的内存不够用,分配的内存不够用(重要的事说三遍)
今天上午师兄调试我写的脚本,发现很慢,他说不应该这么慢的,查找发现没有什么大问题,看了下内存剩余空间以及我镜像的大小,说有点不合理,而且我的hadoop集群三个容器跑在一个主节点上,相对于docker来说,根本没有什么集群的概念在里面,于是我把另外两个docker节点关闭,为docker主节点增加内存到6.8G,奇迹发生了,竟然成功了,当时的心情是无语凝噎的,,,,,
需要修改的地方:
应使用kubernetes的flannel组件管理网络地址,用来固定容器主机名与IP地址的绑定,不使用bridge-utils以及pipework
将脚本再次整合,合理
明天将脚本在裸机上测试,验证
2,中午和师兄探讨了接下的任务,以及思考了我未来几个月要做学的大概知识。
3,下午新组装了一个机器,可悲的是数据丢失了,不停地分区,结果将数据盘整成逻辑分区了,数据丢失了,用工具恢复了一小部分,哎可悲
4,晚上继续看了MongoDB数据库开发结合mongoengine写了测试样例,以及观看了数据库开发的应用案例
充实的一天,明天加油
相关文章推荐
- shell脚本在容器云中搭建hadoop集群(六)
- shell脚本在容器云中搭建hadoop集群(四)
- shell脚本在容器云中搭建hadoop集群(二)
- shell脚本在容器云中搭建hadoop集群(五)
- shell脚本在容器云中搭建hadoop集群(一)
- 在linux下使用shell脚本自动化完成hadoop集群搭建
- hadoop-yarn集群中,通过shell脚本自动化提交spark任务
- hadoop集群的搭建脚本及构思(N):一个简化的Hadoop+Spark on Yarn集群快速搭建
- shell 脚本实战笔记(7)--集群网络相关知识和环境搭建
- 使用 Shell 脚本进行 Hadoop Spark 集群的批量安装
- hadoop MapReduce集群模式调整匹配及shell脚本处理
- hadoop集群的搭建脚本及构思(二):程序文件的管理思路
- hadoop完全分布式集群搭建全部流程之四:ssh和脚本补充
- 使用shell脚本实现自动化部署hadoop集群
- Linux 下 LXD 容器搭建 Hadoop 集群
- [容器]python搭建简易服务器+docker导入多个镜像shell脚本
- 一键启动hadoop集群、zookeeper集群、spark集群shell脚本
- hadoop集群及相关服务的启动、停止shell脚本
- hadoop集群机架感应配置的简单过程(shell脚本版本)
- shell脚本完成hadoop的集群安装