您的位置:首页 > 运维架构

Haoop生态圈各组件的启动和关闭脚本,以及验证是否成功开启方法

2018-12-29 19:56 232 查看

自己总结了一些hadoop生态圈里各种组件的启动和关闭的脚本,我把这些称为一条龙服务,哈哈,放出来供大家参考使用。

开始:

--打开虚拟机master slave1 slave2
--xshell连接三台虚拟机

slave2主机ip: 192.168.22.121 密码:123
(虚拟机ip 192.168.22.83)

1.hdfs和yarn

hadoop用户下
start-all.sh
stop-all.sh
启动了hadoop集群中的:hdfs和yarn
jps
master:
3714 ResourceManager
3828 NodeManager
3226 NameNode15030990262
3341 DataNode
3535 SecondaryNameNode
3871 Jps
slave:
3185 NodeManager
3417 Jps
3067 DataNode

验证:hadoop fs -ls / 等可用

2.zookeeper

启动zkServer(三节点)
zkServer.sh start

方法一:命令(在hadoop用户的hadoop家目录下)
zkServer.sh start/stop/status

方法二:使用放入zookeeper/bin下的自定义zkStop和zkStart.sh脚本
zkServer.sh status查看节点类型
(leader follower)
查看进程
ps -ef|grep zookeeper
jps
QuorumPeerMain

通过zkCli进入到zkServer里面
zkCli.sh

quit
退出

3.hbase

master的hadoop用户下:
启动服务
start-hbase.sh

jps
master:
4632 HMaster
slave:
3677 HRegionServer

进入hbase
hbase shell

查看hbase中的表
list

4.mysql Hive

------------------hadoop下(hdfs和yarn启动,忽略次步)
HDFS
su hadoop
start-all.sh
jps

解除安全模式
hadoop dfsadmin -safemode leave

-------------------root下
启动Mysql步骤

启动mysql
mysqld_safe --user=mysql &
& 后台运行

ps -ef|grep mysql
查看进程是否启动

mysql -uroot -proot
进入mysql

-----------------hadoop下
启动hive步骤

启动hiveserver2
nohup hive --service hiveserver2 &

启动metastore
nohup hive --service metastore &

查看进程 hive 的server2是否启动
ps -ef|grep hive

hadoop用户下
hive(指令 进入)

5.sqoop启动

sqoop启动
直接在hadoop下输入指令
sqoop

6.azkaban启动

启动web服务器

cd /usr/local/azkaban/

在web目录下(root用户)
bin/azkaban-web-start.sh
在executor目录下
bin/azkaban-executor-start.sh ./

ps -ef|grep azkaban

浏览器:
https://192.168.22.80:8443

user:admin
passwd:admin

使用方法:

vim command.job
#command.job
type=command
command=echo 'hello'

job文件、jar包
打包成zip文件

7.Spark启动

hadoop下
start-spark.sh
stop-spark.sh

stand lone模式:master worker worker
spark on yarn模式:(需要配置)ResourceManager NodeManager NodeManager

目前就整理了这些啦,持续更新中…

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐