Hadoop集群配置过程中需要注意的问题
2020-04-04 07:15
746 查看
环境:VMwareWorkstation8.0 和 Ubuntu14.04
1. 使用三台虚拟机搭建Hadoop集群
2. 一定要在每台机器上配置ssh免密码登录
3. 由于需要给/etc/hosts文件配置3台虚拟机的IP,所以尽量给三台虚拟机设置静态IP。不然即使之前整个集群搭建成功了,但是当某一台的IP变化后,这个集群又不可以使用了。
例如报如下错误:
当重新将/etc/hosts中各个节点的ip以及mapred-site.xml中master节点的ip改正确后,在重新启动hadoop就好了,所以尽量设置静态ip。
4. 很多教程都会要求新建一个hadoop用户,如果对用户和用户组权限不太熟悉,个人觉得直接在root用户下去操作也可以,中间也不会出现没有访问权限的问题。
5. 对文件/etc/profile修改后,一定要使用source /etc/profile去执行一遍,不然配置的环境变量不会生效。
6. 重启虚拟机后,需要重新启动Hadoop,启动成功后,除了hadoop/bin目录之外,在其他地方使用hadoop命令报错“命令不存在”,很有可能是需要使用source /etc/profile来使该文件中关于hadoop安装位置的环境变量生效。
转载于:https://www.cnblogs.com/JaneZSS/p/6132349.html
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- Hadoop集群配置过程中需要注意的问题
- HBase/Hadoop 安装之前需要注意的配置问题
- Hadoop、Zookeeper、Hbase集群安装配置过程及常见问题(一)准备工作
- Hadoop1.2.1+Zookeeper3.4.5+HBase0.94.18完全分布式集群配置过程中遇到的问题
- PowerDesigner16.5快速入门显示,注释comment配置方法,以及创建sql文件过程中需要注意的一些问题
- Spring 整合redis集群 实现 以及过程中需要注意的问题点
- 配置hadoop集群时要注意的问题
- 搭建Hadoop集群需要注意的问题:
- 关于Python新手在环境变量配置及pip命令使用过程中需要注意的问题
- PowerDesigner16.5快速入门显示,注释comment配置方法,以及创建sql文件过程中需要注意的一些问题
- 负载平衡配置过程需要注意的问题
- Hadoop伪分布式配置及与Eclipse集成开发需要注意的问题
- MFC中和libpq调用PostgreSQL存储过程需要注意的问题
- 套用今天的签名“最新的VS+最新的MATLAB+最新的WINDOWS=无尽的烦恼 ”,用了一天的时间去配置相关的环境,确实很囧。好在现在问题解决了,特发布过程如下,希望能给有需要的朋友带来帮助。
- 电路系统设计制作过程和需要注意的一些问题
- 样本采集过程中需要注意的问题
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
- IBM WebSphere Portal6.1配置数据库和LDAP时需要注意的两个问题
- hadoop环境配置(1)--总体软件需要介绍,以及fedora安装注意事项