Hadoop生态圈常用命令

Hadoop生态圈常用命令

1.格式化HDFS
hadoop namenode -format

2.启动start-all.sh
start-dfs.sh
start-mapred.sh

3.ssh免登陆
在root的.ssh文件夹中执行ssh-keygen -t rsa
拷贝到目标节点:ssh-copy-id -i 192.168.35.101

4.MapRedece执行jar文件
hadoop jar /root/wc1.jar cn.itcast.d3.hadoop.mr.WordCount hdfs://itcast:9000/words/out2

5.分别启动datanode和tasktracker
hadoop-daemon.sh start datanode
hadoop-daemon.sh start tasktracker

6.在主节点上即namenode所在节点上运行命令刷新
hadoop dfsadmin -refreshNodes

7.hadoop安全模式常用命令
HDFS:hadoop dfsadmin -safemode enter(进入安装器模式) / leave(离开安全模式) / get(获取当前状态) / wait(竟然等待状态)
MapReduce:hadoop mradmin -safemode enter / leave / get / wait 

8.启动ZooKeeper
./zkServer.sh start
启动客户端连接zk

./zkcli.sh

9.启动hbase
hbase-start.sh
单独启动一个master:hbase-daemon.sh start master

10.启动flume（切换到flume的安装路径下启动）
#将日志信息打印到控制台
bin/flume-ng agent -n agent -c conf -f conf/flume-conf.properties -Dflume.root.logger=INFO,console
#将产生的日志信息保存到日志文件中,并后台运行
bin/flume-ng agent -n agent -c conf -f conf/flume-conf.properties >logs/flume_log.log &

11.启动storm各节点
启动Nimbus后台程序，并放到后台执行: ./storm nimbus >/dev/null 2>&1 &; 2>&1&意思是标准输出和后台输出都在后台进行
启动supervisor ：bin/storm supervisor >/dev/null 2>&1 &
启动storm UI：./storm ui >/dev/null 2>&1 &"