【hadoop】DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
2012-12-13 22:02
916 查看
最近配了一个单机版的hadoop1.0.4,参考官方网址:http://hadoop.apache.org/docs/r1.0.4/single_node_setup.html
配完后使用jps查看,发现总是有一些没有启动,非常郁闷,在多番研究后发现有两个原因,一个是在/tmp目录下有以前使用2.02版本留下的文件没有删除,二个是因为端口被占用了
解决方法:
如上图,就是因为50060端口被占用,所以无法启动TaskTracker,kill后一切正常
看到这个这是无比激动啊!
附端口说明:
默认端口 设置位置 描述信息
9000 namenode 交互端口
8020 namenode RPC交互端口
8021 JT RPC 交互端口
50030 mapred.job.tracker.http.address JobTracker administrative web GUI JOBTRACKER的HTTP服务器和端口
50070 dfs.http.address NameNode administrative web GUI NAMENODE的HTTP服务器和端口
50010 dfs.datanode.address DataNode control port DATANODE控制端口,主要用于DATANODE初始化时向NAMENODE提出注册和应答请求
50020 dfs.datanode.ipc.address DataNode IPC port, used for block transfer DATANODE的RPC服务器地址和端口
50060 mapred.task.tracker.http.address Per TaskTracker web interface TASKTRACKER的HTTP服务器和端口
50075 dfs.datanode.http.address Per DataNode web interface DATANODE的HTTP服务器和端口
50090 dfs.secondary.http.address Per secondary NameNode web interface 辅助DATANODE的HTTP服务器和端口
参考网站:
/article/9521118.html
http://hi.baidu.com/chemical_liang/item/64e1b7eb3045143986d9deeb
配完后使用jps查看,发现总是有一些没有启动,非常郁闷,在多番研究后发现有两个原因,一个是在/tmp目录下有以前使用2.02版本留下的文件没有删除,二个是因为端口被占用了
解决方法:
一.删除/tmp下的所有文件
[root@localhost hadoop]# su - [root@localhost ~]# cd /tmp/ [root@localhost tmp]# ls hadoop-shen hsperfdata_shen hadoop-shen-datanode.pid Jetty_0_0_0_0_50030_job____yn7qmk hadoop-shen-jobtracker.pid Jetty_0_0_0_0_50070_hdfs____w2cu08 hadoop-shen-namenode.pid Jetty_0_0_0_0_50075_datanode____hwtdwq hadoop-shen-secondarynamenode.pid Jetty_0_0_0_0_50090_secondary____y6aanv hadoop-shen-tasktracker.pid [root@localhost tmp]# rm -rf *
二.对占用的端口进行释放
[shen@localhost hadoop]$ lsof -i:9000 [shen@localhost hadoop]$ lsof -i:50070 [shen@localhost hadoop]$ lsof -i:50030 [shen@localhost hadoop]$ lsof -i:50075 [shen@localhost hadoop]$ lsof -i:50060 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 4280 shen 79u IPv6 51108 0t0 TCP *:50060 (LISTEN) [shen@localhost hadoop]$ kill 4280 [shen@localhost hadoop]$ lsof -i:50020 [shen@localhost hadoop]$ lsof -i:50010
如上图,就是因为50060端口被占用,所以无法启动TaskTracker,kill后一切正常
[shen@localhost hadoop]$ jps 13510 DataNode 13656 SecondaryNameNode 13918 TaskTracker 13750 JobTracker 13362 NameNode 13994 Jps
看到这个这是无比激动啊!
附端口说明:
默认端口 设置位置 描述信息
9000 namenode 交互端口
8020 namenode RPC交互端口
8021 JT RPC 交互端口
50030 mapred.job.tracker.http.address JobTracker administrative web GUI JOBTRACKER的HTTP服务器和端口
50070 dfs.http.address NameNode administrative web GUI NAMENODE的HTTP服务器和端口
50010 dfs.datanode.address DataNode control port DATANODE控制端口,主要用于DATANODE初始化时向NAMENODE提出注册和应答请求
50020 dfs.datanode.ipc.address DataNode IPC port, used for block transfer DATANODE的RPC服务器地址和端口
50060 mapred.task.tracker.http.address Per TaskTracker web interface TASKTRACKER的HTTP服务器和端口
50075 dfs.datanode.http.address Per DataNode web interface DATANODE的HTTP服务器和端口
50090 dfs.secondary.http.address Per secondary NameNode web interface 辅助DATANODE的HTTP服务器和端口
三.对namenode进行格式化
如果有修改过namenode dir 位置,需要确保位置不存在,并对/tmp目录下文件进行删除,不然会总是Format abort参考网站:
/article/9521118.html
http://hi.baidu.com/chemical_liang/item/64e1b7eb3045143986d9deeb
相关文章推荐
- 【hadoop】DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
- hadoop 在搭建分布式时遇到DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
- (csdn内转载)DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
- 【hadoop】DataNode用jps查看无法启动解决办法
- 端口被其他进程占用导致hadoop namenode,datanode,jobTracker,taskTracker,secondnamenode无法启动
- Hadoop DataNode用jps查看无法启动的解决办法
- 端口被其他进程占用导致hadoop namenode,datanode,jobTracker,taskTracker,secondnamenode无法启动
- 【hadoop】DataNode用jps查看无法启动解决办法
- Hadoop DataNode用jps查看无法启动的解决办法
- 重新格式化hadoop的namenode导致datanode无法启动的最简单解决办法
- hadoop namenode -format 后出现datanode 无法启动故障解决办法
- hadoop启动后通过jps查看进程datanode或namenode不存在问题解决
- hadoop datanode 无法启动之 namenode ID 不一致解决办法。
- 重复格式化namenode造成datanode无法正常启动的解决办法
- 多次格式化namenode,datanode无法启动的解决办法
- hadoop多次格式化后出现datanode无法正常启动的解决办法
- hadoop伪分布式下 无法启动datanode的原因及解决办法
- hadoop集群运行jps命令以后Datanode节点未启动的解决办法
- 【解决办法】Hadoop2.6.4 datanode 无法启动,错误:All specified directories are failed to load.
- 解决更改hadoop核心配置文件后会出现DataNode,或者NameNode无法启动的问题