hadoop完全分布式-1
2016-07-05 15:56
357 查看
查看log文件(重要),以后出现很多错误都要从此处查找
1 通过log文件查看
cd ${HADOOP_INSTALL}/logs
cat hadoop-ubuntu-namenode-bogon.log ; cat hadoop-ubuntu-namenode-bogon.out ///查看namenode的日志
cat hadoop-ubuntu-datanode-bogon.log ; cat hadoop-ubuntu-datanode-bogon.out
2 通过web UIs查看日志或者集群情况
http://localhost:50070/ ///for the namenode,可以在宿主机通过IP+端口号访问
http://localhost:8088/ ///for the resource manager,只能在本机访问,hadoop集群信息
http://localhost:19888/ ///for the history server
可以看到有端口,必然对应有侦听
netstat -lnpt
获取到虚拟机IP后,也可以在宿主机访问http://192.168.64.130:50070/
Overview里面localhost:8080为namenode的对外开放端口,用于与datanode进行连接
Datanodes里面50010为datanode与namenode进行交互的端口
必然涉及到socket编程,hadoop用的是netty框架,可以进到hadoop的安装目录下查看一下是不是有netty的jar包(cd ${HADOOP_INSTALL} find . | grep netty)
打开utilities,Browse the file system,输入/后可以看到整个hdfs文档目录及文件,目录是没有副本的,文件的副本数根据配置,128MB一个快,文件太大就会切割成多个块
hadoop fs -ls -R hdfs://hocalhost/ 等同于hadoop fs -ls -R / 等同于hadoop fs -ls -R hdfs:/ ///以hdfs协议查看文件目录
hadoop fs -ls -R file:/ ///以file:/协议查看文档,结果看到的是本地文档目录结构
查看log文件(重要),以后出现很多错误都要从此处查找
1 通过log文件查看
cd ${HADOOP_INSTALL}/logs
cat hadoop-ubuntu-namenode-bogon.log ; cat hadoop-ubuntu-namenode-bogon.out ///查看namenode的日志
cat hadoop-ubuntu-datanode-bogon.log ; cat hadoop-ubuntu-datanode-bogon.out
2 通过web UIs查看日志或者集群情况
http://localhost:50070/ ///for the namenode,可以在宿主机通过IP+端口号访问
http://localhost:8088/ ///for the resource manager,只能在本机访问,hadoop集群信息
http://localhost:19888/ ///for the history server
可以看到有端口,必然对应有侦听
netstat -lnpt
获取到虚拟机IP后,也可以在宿主机访问http://192.168.64.130:50070/
Overview里面localhost:8080为namenode的对外开放端口,用于与datanode进行连接
Datanodes里面50010为datanode与namenode进行交互的端口
必然涉及到socket编程,hadoop用的是netty框架,可以进到hadoop的安装目录下查看一下是不是有netty的jar包(cd ${HADOOP_INSTALL} find . | grep netty)
打开utilities,Browse the file system,输入/后可以看到整个hdfs文档目录及文件,目录是没有副本的,文件的副本数根据配置,128MB一个快,文件太大就会切割成多个块
hadoop fs -ls -R hdfs://hocalhost/ 等同于hadoop fs -ls -R / 等同于hadoop fs -ls -R hdfs:/ ///以hdfs协议查看文件目录
hadoop fs -ls -R file:/ ///以file:/协议查看文档,结果看到的是本地文档目录结构
搭建完全分布式hadoop集群
1、安装java
2、创建user
略
3、安装hadoop
略
4、配置SSH
略
5、格式化
略
6、启动进程
start-dfs.sh
start-yarn.sh
7、创建目录
8、配置hadoop
除了各种伪分布式配置的XML文档外,最重要的一个是slaves纯文本文件,一行一个机器,会运行datanode和nodemanager
伪分布式下的slaves写入的就是localhost
a)克隆虚拟机4台, 用hostname查看虚拟机的主机名,修改各主机名
su root
nano /etc/hostname
b)
c)配置hadoop配置文件
${hadoop_install}etc/hadoop/*-site.xml
<!-- core-site.xml -->
<configuration>
<property>
<name>fs.defaultFS</name>
<!--url:protocal(协议如hdfs或file )+host+port+path-->
<value>hdfs://localhost/</value> ///此处的localhost改为namenode主机名或者IP地址,一般主机名即可
</property>
</configuration>
<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value> ///此处的1改为3
</property>
</configuration>
<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
<?xml version="1.0"?>
<!-- yarn-site.xml -->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value> ///此处改为namenode的主机名
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
注意修改下面的文件
<!--slaves -->
s200
s300
s400
<!--/etc/hosts -->
开机克隆机,收集到各ip地址,写一份hosts文件,scp到各个主机
d)远程复制/etc/hosts到远程主机的/etc/下
scp hosts root@s200:/etc/
1 通过log文件查看
cd ${HADOOP_INSTALL}/logs
cat hadoop-ubuntu-namenode-bogon.log ; cat hadoop-ubuntu-namenode-bogon.out ///查看namenode的日志
cat hadoop-ubuntu-datanode-bogon.log ; cat hadoop-ubuntu-datanode-bogon.out
2 通过web UIs查看日志或者集群情况
http://localhost:50070/ ///for the namenode,可以在宿主机通过IP+端口号访问
http://localhost:8088/ ///for the resource manager,只能在本机访问,hadoop集群信息
http://localhost:19888/ ///for the history server
可以看到有端口,必然对应有侦听
netstat -lnpt
获取到虚拟机IP后,也可以在宿主机访问http://192.168.64.130:50070/
Overview里面localhost:8080为namenode的对外开放端口,用于与datanode进行连接
Datanodes里面50010为datanode与namenode进行交互的端口
必然涉及到socket编程,hadoop用的是netty框架,可以进到hadoop的安装目录下查看一下是不是有netty的jar包(cd ${HADOOP_INSTALL} find . | grep netty)
打开utilities,Browse the file system,输入/后可以看到整个hdfs文档目录及文件,目录是没有副本的,文件的副本数根据配置,128MB一个快,文件太大就会切割成多个块
hadoop fs -ls -R hdfs://hocalhost/ 等同于hadoop fs -ls -R / 等同于hadoop fs -ls -R hdfs:/ ///以hdfs协议查看文件目录
hadoop fs -ls -R file:/ ///以file:/协议查看文档,结果看到的是本地文档目录结构
查看log文件(重要),以后出现很多错误都要从此处查找
1 通过log文件查看
cd ${HADOOP_INSTALL}/logs
cat hadoop-ubuntu-namenode-bogon.log ; cat hadoop-ubuntu-namenode-bogon.out ///查看namenode的日志
cat hadoop-ubuntu-datanode-bogon.log ; cat hadoop-ubuntu-datanode-bogon.out
2 通过web UIs查看日志或者集群情况
http://localhost:50070/ ///for the namenode,可以在宿主机通过IP+端口号访问
http://localhost:8088/ ///for the resource manager,只能在本机访问,hadoop集群信息
http://localhost:19888/ ///for the history server
可以看到有端口,必然对应有侦听
netstat -lnpt
获取到虚拟机IP后,也可以在宿主机访问http://192.168.64.130:50070/
Overview里面localhost:8080为namenode的对外开放端口,用于与datanode进行连接
Datanodes里面50010为datanode与namenode进行交互的端口
必然涉及到socket编程,hadoop用的是netty框架,可以进到hadoop的安装目录下查看一下是不是有netty的jar包(cd ${HADOOP_INSTALL} find . | grep netty)
打开utilities,Browse the file system,输入/后可以看到整个hdfs文档目录及文件,目录是没有副本的,文件的副本数根据配置,128MB一个快,文件太大就会切割成多个块
hadoop fs -ls -R hdfs://hocalhost/ 等同于hadoop fs -ls -R / 等同于hadoop fs -ls -R hdfs:/ ///以hdfs协议查看文件目录
hadoop fs -ls -R file:/ ///以file:/协议查看文档,结果看到的是本地文档目录结构
搭建完全分布式hadoop集群
1、安装java
2、创建user
略
3、安装hadoop
略
4、配置SSH
略
5、格式化
略
6、启动进程
start-dfs.sh
start-yarn.sh
7、创建目录
8、配置hadoop
除了各种伪分布式配置的XML文档外,最重要的一个是slaves纯文本文件,一行一个机器,会运行datanode和nodemanager
伪分布式下的slaves写入的就是localhost
a)克隆虚拟机4台, 用hostname查看虚拟机的主机名,修改各主机名
su root
nano /etc/hostname
b)
c)配置hadoop配置文件
${hadoop_install}etc/hadoop/*-site.xml
<!-- core-site.xml -->
<configuration>
<property>
<name>fs.defaultFS</name>
<!--url:protocal(协议如hdfs或file )+host+port+path-->
<value>hdfs://localhost/</value> ///此处的localhost改为namenode主机名或者IP地址,一般主机名即可
</property>
</configuration>
<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value> ///此处的1改为3
</property>
</configuration>
<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
<?xml version="1.0"?>
<!-- yarn-site.xml -->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value> ///此处改为namenode的主机名
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
注意修改下面的文件
<!--slaves -->
s200
s300
s400
<!--/etc/hosts -->
开机克隆机,收集到各ip地址,写一份hosts文件,scp到各个主机
d)远程复制/etc/hosts到远程主机的/etc/下
scp hosts root@s200:/etc/
相关文章推荐
- windows linux 之间文件共享 samba配置
- Eclipse中的Web项目自动部署到Tomcat
- openSuse linux下安装升级ftp服务
- Nginx优化use参数epoll,kqueue,rtsig,eventport,poll
- linux创建PHP定时任务
- 新手写openmp程序,结果不能运行,求教高手指点
- Opencv2中LUT函数操作(颜色空间缩减)
- opensuse linux环境下telnet源码编译安装步骤
- [Linux] SPI 设备驱动模型(SPI 协议基础)
- docker存储驱动知识汇总
- linux centos安装mysql
- Linux 查看CPU信息的命令
- Linux下FILE结构体字段详解
- zabbix_agent安装(Centos+Ubuntu)
- Nginx源码分析 - 主流程篇 - Nginx的启动流程
- HBase 常用Shell命令
- Cent OS安装Hadoop
- 使用nginx lua实现网站统计中的数据收集
- openstack M版安装 compute(nova)服务篇
- LINUX--系列知识