您的位置:首页 > 大数据 > Hadoop

macOS Catalina安装hadoop (brew)及遇到问题记录

2020-08-01 16:47 1246 查看

本文主要参考以下方法安装,安装过程遇到一些问题,除了以下注意点之外,安装过程与链接教程一样。
Mac Homebrew 安装 Hadoop

遇到问题

  1. namenode初始化失败,无法启动相应服务
  2. 8088端口打不开,服务启动相应服务

注意点:

  • 配置文件 core-site.xml
    这里注意权限问题,我是在home目录下新建的文件夹:/Users/username/hadoop_tmp, 其中,username为自己的用户名:
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/username/hadoop_tmp</value>
</property>
  1. 配置文件 hdfs-site.xml
    2.1 在hadoop的安装目录/usr/local/Cellar/hadoop/3.3.0/下新建文件夹 tmp/dfs/name、tmp/dfs/data;一定要在普通用户可访问的地方新建文件夹!否则后面start-dfs.sh的时候无法打开服务!
    2.2 添加http地址属性
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/Cellar/hadoop/3.3.0/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/Cellar/hadoop/3.3.0/tmp/dfs/data</value>
</property>
<property>
<name>dfs.http.address</name>
<value>localhost:9870</value>
</property>
  1. 配置文件 yarn-site.xml
    PS:注意如下属性中的端口号,如果运气不好会冲突,导致8088端口打不开!
<property>
<name>yarn.resourcemanager.address</name>
<value>localhost:8085</value>
</property>
  1. 格式化文档系统:hdfs namenode -format
    PS:这里千万不要加sudo,就要以普通用户的权限运行,否则后面namenode打不开!

  2. hadoop/3.3.0/libexec/sbin目录下 ./start-dfs.sh
    这时 jps命令会看到已经打开了: NameNode、 SecondaryNameNode、 DataNode
    此时,浏览器就可以访问:http://localhost:9870

  3. hadoop/3.3.0/libexec/sbin目录下 ./start-yarn.sh
    这时 jps命令会看到已经打开了: NodeManager、 ResourceManager
    此时,浏览器就可以访问:http://localhost:8088

此时,浏览器就可以访问:http://localhost:8042

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: