Hadoop 配置(2)-Hadoop伪分布式配置
2016-06-25 07:36
330 查看
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。
修改配置文件 core-site.xml (通过 gedit 编辑会比较方便:
[/code]修改为下面配置:
[/code]
同样的,修改配置文件 hdfs-site.xml
[/code]配置完成后,执行 NameNode 的格式化:
[/code]
接着开启 NameNode 和 DataNode 守护进程。
[/code]找不到JAVA_HOME的错误需要设置./etc/hadoop/hadoop_env.sh,export JAVA_HOME设置一个绝对路径。
此处Warning 可 忽略。
~/.bashrc 中,增加如下两行内容(设置过程与 JAVA_HOME 变量一样,其中 HADOOP_HOME 为 Hadoop 的安装目录):
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
[/code]
启动完成后,可以通过命令
(如果 SecondaryNameNode 没有启动,请运行 sbin/stop-dfs.sh 关闭进程,然后再次尝试启动尝试)。
如果没有 NameNode 或 DataNode ,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因。
日志位置:
如果datanode没有启动(注意这会删除 HDFS 中原有的所有数据)
[/code]成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。
来自为知笔记(Wiz)
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。
修改配置文件 core-site.xml (通过 gedit 编辑会比较方便:
gedit ./etc/hadoop/core-site.xml),将当中的
<configuration>
</configuration>
[/code]修改为下面配置:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
[/code]
同样的,修改配置文件 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
[/code]配置完成后,执行 NameNode 的格式化:
./bin/hdfs namenode -format
[/code]
接着开启 NameNode 和 DataNode 守护进程。
./sbin/start-dfs.sh
[/code]找不到JAVA_HOME的错误需要设置./etc/hadoop/hadoop_env.sh,export JAVA_HOME设置一个绝对路径。
此处Warning 可 忽略。
~/.bashrc 中,增加如下两行内容(设置过程与 JAVA_HOME 变量一样,其中 HADOOP_HOME 为 Hadoop 的安装目录):
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
[/code]
启动完成后,可以通过命令
jps来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”
(如果 SecondaryNameNode 没有启动,请运行 sbin/stop-dfs.sh 关闭进程,然后再次尝试启动尝试)。
如果没有 NameNode 或 DataNode ,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因。
日志位置:
如果datanode没有启动(注意这会删除 HDFS 中原有的所有数据)
# 针对 DataNode 没法启动的解决方法
./sbin/stop-dfs.sh # 关闭
rm -r ./tmp # 删除 tmp 文件,注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format # 重新格式化 NameNode
./sbin/start-dfs.sh # 重启
[/code]成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。
来自为知笔记(Wiz)
相关文章推荐
- 基于Hadoop生态圈的数据仓库实践 —— 目录
- ubuntu 12.04安装OpenGL
- erdaicms旅游网站程序模板免费下载(PC站自带手机站,自带3套模板可切换,对接支付宝和微信支付)
- centos 7 源码安装及 php-fpm 配置与 nginx 集成
- Linux 添加so搜索目录
- Linux命令行下常用快捷键
- 如何在tomcat安装部署php项目
- linux内核sysfs详解
- hadoop安装后测试运行
- linux上java环境搭建
- 经典三层架构
- Linux Golang 环境搭建(版本1.6.2)
- 常用游戏资源网站
- OpenTSDB 教材收藏
- shell中的数学运算
- linux内核时常碰到的汇编指令(详尽版部分)
- 不仅仅是外贸网站才需要独立IP-独立IP的优点
- twoo是什么网站
- # ISO C 与 Nerrno 宏
- linux下 清空tomcat缓存