macOS Catalina安装hadoop (brew)及遇到问题记录
2020-08-01 16:47
1246 查看
本文主要参考以下方法安装,安装过程遇到一些问题,除了以下注意点之外,安装过程与链接教程一样。
Mac Homebrew 安装 Hadoop
遇到问题
- namenode初始化失败,无法启动相应服务
- 8088端口打不开,服务启动相应服务
注意点:
- 配置文件 core-site.xml
这里注意权限问题,我是在home目录下新建的文件夹:/Users/username/hadoop_tmp, 其中,username为自己的用户名:
<property> <name>hadoop.tmp.dir</name> <value>/Users/username/hadoop_tmp</value> </property>
- 配置文件 hdfs-site.xml
2.1 在hadoop的安装目录/usr/local/Cellar/hadoop/3.3.0/下新建文件夹 tmp/dfs/name、tmp/dfs/data;一定要在普通用户可访问的地方新建文件夹!否则后面start-dfs.sh的时候无法打开服务!
2.2 添加http地址属性
<property> <name>dfs.namenode.name.dir</name> <value>/usr/local/Cellar/hadoop/3.3.0/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/Cellar/hadoop/3.3.0/tmp/dfs/data</value> </property> <property> <name>dfs.http.address</name> <value>localhost:9870</value> </property>
- 配置文件 yarn-site.xml
PS:注意如下属性中的端口号,如果运气不好会冲突,导致8088端口打不开!
<property> <name>yarn.resourcemanager.address</name> <value>localhost:8085</value> </property>
-
格式化文档系统:hdfs namenode -format
PS:这里千万不要加sudo,就要以普通用户的权限运行,否则后面namenode打不开! -
hadoop/3.3.0/libexec/sbin目录下 ./start-dfs.sh
这时 jps命令会看到已经打开了: NameNode、 SecondaryNameNode、 DataNode
此时,浏览器就可以访问:http://localhost:9870
-
hadoop/3.3.0/libexec/sbin目录下 ./start-yarn.sh
这时 jps命令会看到已经打开了: NodeManager、 ResourceManager
此时,浏览器就可以访问:http://localhost:8088
此时,浏览器就可以访问:http://localhost:8042
相关文章推荐
- 安装hadoop 2.5遇到的问题记录
- Hadoop集群安装遇到的问题之一
- hadoop安装部署遇到问题,故障排查
- MySQL 下载安装 过程中遇到的各 问题汇总 记录
- CentOs下安装Apache的过程记录以及遇到的问题
- 记录一下Fedora21下安装Foundation5遇到的问题[尚有遗留问题]
- mysql 5.7安装遇到的问题记录
- [记录]Ubuntu 16.04安装软件遇到“kde-config-telepathy-accounts > 15.04”问题
- hadoop遇到的问题记录
- Ubuntu 14.04 安装 DevStack与遇到的的问题记录
- Hadoop集群安装遇到的问题
- 记录安装 Cocoapods 遇到的问题
- ubuntu16.04与win10双系统的安装过程遇到的问题解决方案记录
- hadoop集群部署后,遇到的问题记录
- hadoop安装和使用过程中遇到的问题
- 记录一次安装Loadrunner11遇到的各种问题,如PUTTY.GID找不到
- ubuntu12.04安装hadoop1.2遇到的问题
- 安装hadoop 时遇到的一些问题整理
- hadoop安装过程中所遇到的问题
- 记录在WIN7 64位安装32位Oracle 11G遇到的问题