您的位置:首页 > 运维架构 > Shell

shell脚本在容器云中搭建hadoop集群(七)

2017-09-14 22:46 239 查看
总结一下今天的学习过程

1,用一句描述我今天上午的感受:这两天白忙活了

     hadoop集群子所以不能正确完整启动成功:是因为分配的内存不够用,分配的内存不够用,分配的内存不够用(重要的事说三遍)

    今天上午师兄调试我写的脚本,发现很慢,他说不应该这么慢的,查找发现没有什么大问题,看了下内存剩余空间以及我镜像的大小,说有点不合理,而且我的hadoop集群三个容器跑在一个主节点上,相对于docker来说,根本没有什么集群的概念在里面,于是我把另外两个docker节点关闭,为docker主节点增加内存到6.8G,奇迹发生了,竟然成功了,当时的心情是无语凝噎的,,,,,

     需要修改的地方:

     应使用kubernetes的flannel组件管理网络地址,用来固定容器主机名与IP地址的绑定,不使用bridge-utils以及pipework

     将脚本再次整合,合理

     明天将脚本在裸机上测试,验证

2,中午和师兄探讨了接下的任务,以及思考了我未来几个月要做学的大概知识。

3,下午新组装了一个机器,可悲的是数据丢失了,不停地分区,结果将数据盘整成逻辑分区了,数据丢失了,用工具恢复了一小部分,哎可悲

4,晚上继续看了MongoDB数据库开发结合mongoengine写了测试样例,以及观看了数据库开发的应用案例

充实的一天,明天加油
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息