Hadoop3.0Yarn添加网络、磁盘IO等资源资料汇总及实战配置遇到的问题和解决办法

Hadoop3.0扩展Yarn资源，官网给了一些英文资料，这里about云翻译为中文资料。这些资料，还是比较多的，但是在初次阅读的时候，会感到摸不着头脑。但是书读百遍其义自见。下面对这些资料进行汇总。

Hadoop3.0: YARN Resource自定义资源配置说明 http://www.aboutyun.com/forum.php?mod=viewthread&tid=23626 1.yarn默认情况下使用哪些资源？
2.Yarn如何实现扩展自定义资源？
3.自定义资源，可以在哪个配置文件中配置？
4.哪些配置可以在yarn-site.xml文件或则 resource-types.xml文件配置？
5.yarn有哪三种Containers？
6.三种Container如何配置请求的CPU，memory等值？

hadoop3.0 Yarn支持网络1：network设计文档说明【中文】 http://www.aboutyun.com/forum.php?mod=viewthread&tid=23653 1.网络作为Yarn的资源，有什么好处？
2.Yarn是否只支持调度和强制执行“传出流量”？
3.Yarn是否支持入口流量？

hadoop3.0 Yarn支持网络资源2：network设计文档说明【中文】 http://www.aboutyun.com/forum.php?mod=viewthread&tid=23661 1.Resource profiles解决了什么问题？
2.使用profile的好处是什么？
3.配置文件的简洁模式如何配置？

hadoop3.0扩展Yarn资源模型详解1 http://www.aboutyun.com/forum.php?mod=viewthread&tid=23794 1.countable资源是指哪些？
2.noncountable资源，本文列举了什么资源？
3.标签是否为资源？
4.如何实现扩展YARN资源模型？

hadoop3.0扩展Yarn资源模型详解2：资源Profiles说明 http://www.aboutyun.com/forum.php?mod=viewthread&tid=23813 1.Resource profiles解决了什么问题？
2.使用profile的好处是什么？
3.配置文件的简洁模式如何配置？

Hadoop3 YARN集群中的磁盘I / O调度设计详解1【IO作为资源分配】 http://www.aboutyun.com/forum.php?mod=viewthread&tid=23819 1.磁盘IO实现共享，使用的是什么原理技术？
2.如何描述磁盘I / O资源？ 
3.磁盘I / O资源中的调度因素如何？ 
4.每个NodeManager如何执行每个本地任务的磁盘I / O资源使用？

上面资料分别介绍了如何添加除了内存和vcores资源，并且对所支持的资源进行调度配置。根据以上资料，大家如果读懂，完全可以配置，如想节省时间。后面about云会出这方面的视频。
下面是在实际配置过程中遇到的问题：
提交job之后，程序不运行：

[Bash shell] 纯文本查看 复制代码
?
日志也没有错误，然后通过tail -f在停止集群和开启集群中，查看所有日志。原来是nodemanger的配置文件出现问题。

[Bash shell] 纯文本查看 复制代码
?
去掉里面的错误标记问题解决。

yarn-site.xml文件

[Bash shell] 纯文本查看 复制代码
?
下面说是network是未知的资源network：

[Bash shell] 纯文本查看 复制代码
?
上面是因为没有弄懂如何添加网络资源，需要区分开与memory和vcore的区别。需仔细阅读
Hadoop3.0: YARN Resource自定义资源配置说明 http://www.aboutyun.com/forum.php?mod=viewthread&tid=23626并且区分 hadoop3.0 Yarn支持网络1：network设计文档说明【中文】 http://www.aboutyun.com/forum.php?mod=viewthread&tid=23653 这个文档的关系。

[Bash shell] 纯文本查看 复制代码
?
出现上面问题，同样也是因为没有弄懂如何添加资源及调度的关系。

1T大数据人工智能资源获取
获取方式
长按/扫描二维码 ,后台回复关键词：获取资源