yarn状态机可视化
2014-10-09 15:51
225 查看
YARN中实现了多个状态机对象,包括ResourceManager中的RMAppImpl、RMApp-AttemptImpl、RMContainerImpl和RMNodeImpl,NodeManager中的ApplicationImpl、ContainerImpl和LocalizedResource,MRAppMaster中的JobImpl、TaskImpl和TaskAttemptImpl等。为了便于用户查看这些状态机的状态变化以及相关事件,YARN提供了一个状态机可视化工具,具体操作步骤如下。
步骤1 将状态机转化为graphviz(.gv)格式的文件,在源代码根目录下执行编译命令如下:
mvn compile -Pvisualize
经过该步骤后,本地目录中生成了ResourceManager.gv、NodeManager.gv和MapReduce.gv三个graphviz格式的文件。NodeManager.gv文件中LocalizedResource状态机部分内容如下:
步骤2 使用可视化包graphviz中的相关命令生成状态机图,Shell命令具体如下:
dot -Tpng NodeManager.gv > NodeManager.png
如果尚未安装graphviz包,操作该步骤之前先要安装该包,cent os安装命令如下:
sudo yum install graphviz
打开NodeManager.png,如下图所示(为了便于展示,分拆成了两个图):
![](https://img-blog.csdn.net/20141009155526500?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYmlnZGF0YWhhcHB5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
步骤1 将状态机转化为graphviz(.gv)格式的文件,在源代码根目录下执行编译命令如下:
mvn compile -Pvisualize
经过该步骤后,本地目录中生成了ResourceManager.gv、NodeManager.gv和MapReduce.gv三个graphviz格式的文件。NodeManager.gv文件中LocalizedResource状态机部分内容如下:
subgraph cluster_LocalizedResource { label="LocalizedResource" "LocalizedResource.FAILED" [ label = FAILED ]; "LocalizedResource.DOWNLOADING" [ label = DOWNLOADING ]; "LocalizedResource.DOWNLOADING" -> "LocalizedResource.DOWNLOADING" [ label = "REQUEST,\nRELEASE" ]; "LocalizedResource.DOWNLOADING" -> "LocalizedResource.FAILED" [ label = "LOCALIZATION_FAILED" ]; "LocalizedResource.DOWNLOADING" -> "LocalizedResource.LOCALIZED" [ label = "LOCALIZED" ]; "LocalizedResource.INIT" [ label = INIT ]; "LocalizedResource.INIT" -> "LocalizedResource.DOWNLOADING" [ label = "REQUEST" ]; "LocalizedResource.LOCALIZED" [ label = LOCALIZED ]; "LocalizedResource.LOCALIZED" -> "LocalizedResource.LOCALIZED" [ label = "REQUEST,\nRELEASE" ]; }
步骤2 使用可视化包graphviz中的相关命令生成状态机图,Shell命令具体如下:
dot -Tpng NodeManager.gv > NodeManager.png
如果尚未安装graphviz包,操作该步骤之前先要安装该包,cent os安装命令如下:
sudo yum install graphviz
打开NodeManager.png,如下图所示(为了便于展示,分拆成了两个图):
相关文章推荐
- yarn状态机的可视化
- Yarn中如何生成状态机图
- Hadoop2.6.0中YARN底层状态机实现分析
- hadoop2.6.4状态机可视化
- Hadoop2.6.0中YARN底层状态机实现分析
- Yarn 内部组件以及对象状态机管理
- Yarn中的几种状态机
- YARN 状态机的原理和使用
- hadoop之yarn状态机模型
- Yarn中的几种状态机
- 可视化的状态机(FSM)
- YARN中MRAppMaster的事件驱动模型与状态机处理消息过程的分析
- 事件驱动和状态机模式在YARN中的使用
- 一段可视化的条码扫描线的实例和注解
- hadoop yarn的运行机制
- Npm vs Yarn 之备忘大全
- Swing可视化开发工具
- MapReuce笔记二之MR任务在yarn容器中的资源管理
- Lenet-5 MNIST Tensorboard 参数可视化 直方图 tf.Summary.histogram,tf.Summary.scalar,tf.Summary.image
- 可视化的数据结构和算法