slurm入门
2016-06-23 11:21
288 查看
转载原网址:http://www.ibm.com/developerworks/cn/linux/l-slurm-utility/
超级计算机不是关于任何特定的架构,它只是处在计算性能尖端的一种设计。如今,这意味着如果以 LINPACK 基准度量,该系统能够在千万亿次(或百万之四次方的 FLOPS)的性能范围内运行。
无论超级计算机如何实现这些 FLOPS,任何超级计算机架构的一个低层目标都是在有工作可做时最佳地保持计算资源忙碌。与 CDC 6600 用来保持其单个 CPC 忙碌的外围处理器类似,现代的超级计算机需要同样的基本性能。让我们来看这样一个计算节点资源管理的实现,其名为Simple Linux® Utility
for Resource Management (SLURM)。
SLURM 是一种可用于大型计算节点集群的高度可伸缩和容错的集群管理器和作业调度系统。SLURM 维护着一个待处理工作的队列并管理此工作的整体资源利用。它还以一种排他或非排他的方式管理可用的计算节点(取决于资源的需求)。最后,SLURM 将作业分发给一组已分配的节点来执行工作并监视平行作业至其完成。
本质上,SLURM 是一个强健的集群管理器(更关注于对功能丰富性的需求方面),它高度可移植、可伸缩至大型节点集群、容错好,而且更重要的是它是开源的。SLURM 最早是一个开源的资源管理器,由几家公司(包括 Lawrence Livermore National Laboratory)协作开发。如今,SLURM 已经成为了很多最强大的超级计算机上使用的领先资源管理器。
SLURM 实现的是一种非常传统的集群管理架构(参见 图
2)。在顶部是一对冗余集群控制器(虽然冗余是可选项)。这些集群控制器可充当计算集群的管理器并实现一种管理守护程序,名为
每个计算节点实现一个守护程序,名为
图 2. SLURM 架构的高级别视图
![](http://www.ibm.com/developerworks/cn/linux/l-slurm-utility/figure2.gif)
此架构内还存在其他的守护程序,比如,实现安全的身份验证。但是集群并不仅仅是节点的随机组合,因为这些节点可以是逻辑相关的,以适时实现平行计算。
一组节点也可以组成一个逻辑组,称为分区,分区通常会包含进入工作的队列。分区也可以配置各种约束条件,比如哪个用户可以使用它,分区支持的时限的作业大小。分区的更进一步优化,就是将分区内的一组节点在工作的一段时间内映射到一个用户,这就是一个作业。一个作业内,是一个或多个作业步骤,即在节点子集上执行的任务集。
图 3 展示了这个层次结构,进一步说明了资源的
SLURM 分区。请注意,这种分区包含了对资源的感知,相当于确保协作节点间的低延迟通信。
图 3. SLURM 内的资源分区
![](http://www.ibm.com/developerworks/cn/linux/l-slurm-utility/figure3.gif)
如何安装 SLURM 最终取决于您特定的 Linux 环境,但过程与使用一个包管理器一样简单。SLURM 是完全打包的,这就使其很容易进行安装和配置。对于我所钟爱的 distro、Ubuntu,我使用了 Advanced Packaging Tool (APT) 来安装 SLURM 包及其所有的依赖项:
此操作会使用少于 40MB 的空间且不只包含了 SLURM,还包含了依赖项、基础插件以及其他所需的包。
启动 SLURM 之前,必须根据特定的环境配置它。为了创建我的配置文件,我使用了在线的 SLURM 配置器,由它为我生成基于表单数据的配置文件。请注意此文件需要在末尾处进行修改以删除不再受支持的选项。清单
1 显示了我的结果配置文件(存储于 /etc/slurm-llnl/slurm.conf)。
清单 1. 面向单节点集群的 SLURM 配置文件
请注意在一个真实的集群内,
8192 个独特的节点(名为
最后一个步骤是为我的站点创建一组作业凭证密钥。我选择使用
1 内的配置文件中作为
2 所示。
清单 2. 为 SLURM 创建凭证
这些步骤完成后,就万事齐备了,我就能告诉 SLURM 我的配置了。我现在就可以启动 SLURM 并与其交互。
要启动 SLURM,只需使用 /etc/init.d/slurm 内定义的管理脚本。此脚本接受
SLURM 会导致
为了验证 SLURM 是否在运行,可以使用
SLURM 节点和分区的信息(在本例中,集群由单个节点组成),如 清单
3 所示。
清单 3. 使用 sinfo 命令来查看集群
回页首
SLURM 内还有更多的命令可用来获得有关 SLURM 集群的更多信息。在 启动
SLURM 这个章节内,您会看到
4 内的分区和节点)。
清单 4. 用 scontrol 获得有关集群的详细信息
要测试这个简单的 SLURM 集群,可以使用
5 内所示,您可以提交一个简单的 shell 命令作为您的作业来演示
清单 5. 向集群提交作业并检查队列状态
注意在 清单 5 内,向集群提交的作业可以是一个简单的
Linux 命令、一个 shell 脚本文件或一个适当的可执行文件。
作为最后一个例子,让我们来看看如何停止一个作业。在本例中,您启动一个运行较长的作业并使用
ID。然后,使用
ID 来终止该作业步骤(参见 清单 6)。
清单 6. 终止一个作业步骤
最后,可以使用相同的
7 所示。
清单 7. 停止 SLURM 集群
与 Apache Hadoop 不同,SLURM 没有分布式文件系统的概念。因此,为了一个给定的计算,它需要更多的处理才能将数据分布到节点。SLURM 包含了这样一个命令,名为
SLURM 作业分配的所有节点。跨 SLURM 集群的节点使用平行或分布式的文件系统是很有可能的(而且更为高效),这样一来,就不需要
在这个简单 SLURM 的演示中,我们使用的只是可用命令的一个子集,以及这些命令可用选项的一个更小的子集(比如,参见
都能实现一个有效和高效的集群管理器。
////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
在启动了slurm服务之后,我们可以使用下面一些命令来查看集群状态并提交作业
提交作业
查询作业
取消作业
////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
2011 年,SLURM 因各种新特性的加入而得到了更新,包括对 IBM Blue Gene/Q 超级计算机和 Cray XT 以及 XE 计算机的支持。此外,还添加了对 Linux 控制组 (cgroups) 的支持,这对 Linux 过程容器提供了更大的控制。
2012 年,Blue Gene/Q 支持将会全面实现,同时实现的还有改进的资源选择,该资源选择取决于作业需求和资源功能(比如,节点特性 AMD)。一种新的工具计划用来报告调度统计,而且在不久的将来,还将会有一种基于 Web 的管理工具。SLURM 的另一个未来计划是在云爆发的上下文中,这会涉及到在云提供者中分配资源,以及将溢出的工作从一个本地集群迁移到云中(也要运行 SLURM 守护程序)。这个模型非常有用,而且支持某些超级计算机工作负载弹性的理念。
最后,SLURM 开发人员也在考虑使用功率和热量数据,以便更有效地分配集群内的工作,比如,将消耗大功率(也会产生更多热量)的作业放在集群内散热较好的区域。
什么是超级计算机?
超级计算机不是关于任何特定的架构,它只是处在计算性能尖端的一种设计。如今,这意味着如果以 LINPACK 基准度量,该系统能够在千万亿次(或百万之四次方的 FLOPS)的性能范围内运行。无论超级计算机如何实现这些 FLOPS,任何超级计算机架构的一个低层目标都是在有工作可做时最佳地保持计算资源忙碌。与 CDC 6600 用来保持其单个 CPC 忙碌的外围处理器类似,现代的超级计算机需要同样的基本性能。让我们来看这样一个计算节点资源管理的实现,其名为Simple Linux® Utility
for Resource Management (SLURM)。
SLURM 简介
SLURM 是一种可用于大型计算节点集群的高度可伸缩和容错的集群管理器和作业调度系统。SLURM 维护着一个待处理工作的队列并管理此工作的整体资源利用。它还以一种排他或非排他的方式管理可用的计算节点(取决于资源的需求)。最后,SLURM 将作业分发给一组已分配的节点来执行工作并监视平行作业至其完成。本质上,SLURM 是一个强健的集群管理器(更关注于对功能丰富性的需求方面),它高度可移植、可伸缩至大型节点集群、容错好,而且更重要的是它是开源的。SLURM 最早是一个开源的资源管理器,由几家公司(包括 Lawrence Livermore National Laboratory)协作开发。如今,SLURM 已经成为了很多最强大的超级计算机上使用的领先资源管理器。
SLURM 架构
SLURM 实现的是一种非常传统的集群管理架构(参见 图2)。在顶部是一对冗余集群控制器(虽然冗余是可选项)。这些集群控制器可充当计算集群的管理器并实现一种管理守护程序,名为
slurmctld。
slurmctld守护程序提供了对计算资源的监视,但更重要的是,它将进入的作业(工作)映射到基本的计算资源。
每个计算节点实现一个守护程序,名为
slurmd。
slurmd守护程序管理在其上执行的节点,包括监视此节点上运行的任务、接受来自控制器的工作,以及将该工作映射到节点内部核心之上的任务。如果控制器发出请求,
slurmd守护程序也可以停止任务的执行。
图 2. SLURM 架构的高级别视图
![](http://www.ibm.com/developerworks/cn/linux/l-slurm-utility/figure2.gif)
此架构内还存在其他的守护程序,比如,实现安全的身份验证。但是集群并不仅仅是节点的随机组合,因为这些节点可以是逻辑相关的,以适时实现平行计算。
一组节点也可以组成一个逻辑组,称为分区,分区通常会包含进入工作的队列。分区也可以配置各种约束条件,比如哪个用户可以使用它,分区支持的时限的作业大小。分区的更进一步优化,就是将分区内的一组节点在工作的一段时间内映射到一个用户,这就是一个作业。一个作业内,是一个或多个作业步骤,即在节点子集上执行的任务集。
图 3 展示了这个层次结构,进一步说明了资源的
SLURM 分区。请注意,这种分区包含了对资源的感知,相当于确保协作节点间的低延迟通信。
图 3. SLURM 内的资源分区
![](http://www.ibm.com/developerworks/cn/linux/l-slurm-utility/figure3.gif)
安装 SLURM
如何安装 SLURM 最终取决于您特定的 Linux 环境,但过程与使用一个包管理器一样简单。SLURM 是完全打包的,这就使其很容易进行安装和配置。对于我所钟爱的 distro、Ubuntu,我使用了 Advanced Packaging Tool (APT) 来安装 SLURM 包及其所有的依赖项:$ sudo apt-get install slurm-llnl
此操作会使用少于 40MB 的空间且不只包含了 SLURM,还包含了依赖项、基础插件以及其他所需的包。
配置 SLURM
启动 SLURM 之前,必须根据特定的环境配置它。为了创建我的配置文件,我使用了在线的 SLURM 配置器,由它为我生成基于表单数据的配置文件。请注意此文件需要在末尾处进行修改以删除不再受支持的选项。清单1 显示了我的结果配置文件(存储于 /etc/slurm-llnl/slurm.conf)。
清单 1. 面向单节点集群的 SLURM 配置文件
# slurm.conf file generated by configurator.html. # Put this file on all nodes of your cluster. # See the slurm.conf man page for more information. # ControlMachine=mtj-VirtualBox # AuthType=auth/none CacheGroups=0 CryptoType=crypto/openssl MpiDefault=none ProctrackType=proctrack/pgid ReturnToService=1 SlurmctldPidFile=/var/run/slurmctld.pid SlurmctldPort=6817 SlurmdPidFile=/var/run/slurmd.pid SlurmdPort=6818 SlurmdSpoolDir=/tmp/slurmd SlurmUser=slurm StateSaveLocation=/tmp SwitchType=switch/none TaskPlugin=task/none # # TIMERS InactiveLimit=0 KillWait=30 MinJobAge=300 SlurmctldTimeout=120 SlurmdTimeout=300 Waittime=0 # # SCHEDULING FastSchedule=1 SchedulerType=sched/backfill SchedulerPort=7321 SelectType=select/linear # # LOGGING AND ACCOUNTING AccountingStorageType=accounting_storage/none ClusterName=cluster JobCompType=jobcomp/none JobCredentialPrivateKey = /usr/local/etc/slurm.key JobCredentialPublicCertificate = /usr/local/etc/slurm.cert JobAcctGatherFrequency=30 JobAcctGatherType=jobacct_gather/none SlurmctldDebug=3 SlurmdDebug=3 # # COMPUTE NODES NodeName=mtj-VirtualBox State=UNKNOWN PartitionName=debug Nodes=mtj-VirtualBox default=YES MaxTime=INFINITE State=UP
请注意在一个真实的集群内,
NodeName应指的是一组节点,比如
snode[0-8191],以表示此集群内的
8192 个独特的节点(名为
snode0至
snode8191)。
最后一个步骤是为我的站点创建一组作业凭证密钥。我选择使用
openssl作为我的凭证密钥(在 清单
1 内的配置文件中作为
JobCredential*引用)。我只使用
openssl来生成这些凭证,如 清单
2 所示。
清单 2. 为 SLURM 创建凭证
$ sudo openssl genrsa -out /usr/local/etc/slurm.key 1024 Generating RSA private key, 1024 bit long modulus .................++++++ ............................................++++++ e is 65537 (0x10001) $ sudo openssl rsa -in /usr/local/etc/slurm.key -pubout -out /usr/local/etc/slurm.cert writing RSA key
这些步骤完成后,就万事齐备了,我就能告诉 SLURM 我的配置了。我现在就可以启动 SLURM 并与其交互。
启动 SLURM
要启动 SLURM,只需使用 /etc/init.d/slurm 内定义的管理脚本。此脚本接受 start、
stop、
restart和
startclean(以忽略之前保存的所有状态)。用这种方法启动
SLURM 会导致
slurmctld守护程序的启动(在这个简单配置中,还包括您节点上的
slurmd守护程序):
$ sudo /etc/init.d/slurm-llnl start
为了验证 SLURM 是否在运行,可以使用
sinfo命令。
sinfo命令会返回有关这些
SLURM 节点和分区的信息(在本例中,集群由单个节点组成),如 清单
3 所示。
清单 3. 使用 sinfo 命令来查看集群
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST debug* up infinite 1 idle mtj-VirtualBox $
回页首
更多的 SLURM 命令
SLURM 内还有更多的命令可用来获得有关 SLURM 集群的更多信息。在 启动SLURM 这个章节内,您会看到
sinfo命令,可用来了解您的集群。您还可以用
scontrol命令获得更多信息,这就使您可以查看集群各方面的详细信息(例如 清单
4 内的分区和节点)。
清单 4. 用 scontrol 获得有关集群的详细信息
$ scontrol show partition PartitionName=debug AllocNodes=ALL AllowGroups=ALL Default=YES DefaultTime=NONE DisableRootJobs=NO Hidden=NO MaxNodes=UNLIMITED MaxTime=UNLIMITED MinNodes=1 Nodes=mtj-VirtualBox Priority=1 RootOnly=NO Shared=NO PreemptMode=OFF State=UP TotalCPUs=1 TotalNodes=1 $ scontrol show node mtj-VirtualBox NodeName=mtj-VirtualBox Arch=i686 CoresPerSocket=1 CPUAlloc=0 CPUErr=0 CPUTot=1 Features=(null) Gres=(null) OS=Linux RealMemory=1 Sockets=1 State=IDLE ThreadsPerCore=1 TmpDisk=0 Weight=1 BootTime=2012-03-07T14:59:01 SlurmdStartTime=2012-04-17T11:10:43 Reason=(null)
要测试这个简单的 SLURM 集群,可以使用
srun命令。
srun命令可以为您的作业分配一个计算资源并启动一个任务。请注意您也可以分别实现这两个目的(通过
salloc和
sbatch)。如 清单
5 内所示,您可以提交一个简单的 shell 命令作为您的作业来演示
srun,然后再提交一个
sleep命令(带参数)来演示
squeue命令的使用,从而展示集群内存在的作业。
清单 5. 向集群提交作业并检查队列状态
$ srun -l hostname 0: mtj-VirtualBox $ srun -l sleep 5 & [1] 24127 $ squeue JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 15 debug sleep mtj R 0:03 1 mtj-VirtualBox $ [1]+ Done srun -l sleep 5 $
注意在 清单 5 内,向集群提交的作业可以是一个简单的
Linux 命令、一个 shell 脚本文件或一个适当的可执行文件。
作为最后一个例子,让我们来看看如何停止一个作业。在本例中,您启动一个运行较长的作业并使用
squeue来识别其
ID。然后,使用
scancel命令与这个作业
ID 来终止该作业步骤(参见 清单 6)。
清单 6. 终止一个作业步骤
$ srun -l sleep 60 & [1] 24262 $ squeue JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 16 debug sleep mtj R 0:03 1 mtj-VirtualBox $ scancel 16 srun: Force Terminated job 16 $ srun: Job step aborted: Waiting up to 2 seconds for job step to finish. 0: slurmd[mtj-VirtualBox]: error: *** STEP 16.0 CANCELLED AT 2012-04-17T12:08:08 *** srun: error: mtj-VirtualBox: task 0: Terminated [1]+ Exit 15 srun -l sleep 60 $
最后,可以使用相同的
slurm-llnl脚本来停止集群,如 清单
7 所示。
清单 7. 停止 SLURM 集群
$ sudo /etc/init.d/slurm-llnl stop * Stopping slurm central management daemon slurmctld [ OK ] * Stopping slurm compute node daemon slurmd [ OK ] slurmd is stopped $
与 Apache Hadoop 不同,SLURM 没有分布式文件系统的概念。因此,为了一个给定的计算,它需要更多的处理才能将数据分布到节点。SLURM 包含了这样一个命令,名为
sbcast,可用来将一个文件传递到一个
SLURM 作业分配的所有节点。跨 SLURM 集群的节点使用平行或分布式的文件系统是很有可能的(而且更为高效),这样一来,就不需要
sbcast来分布要处理的数据了。
在这个简单 SLURM 的演示中,我们使用的只是可用命令的一个子集,以及这些命令可用选项的一个更小的子集(比如,参见
srun命令的可用选项)。即便是用最少数量的可用命令,SLURM
都能实现一个有效和高效的集群管理器。
////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
在启动了slurm服务之后,我们可以使用下面一些命令来查看集群状态并提交作业
# sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST control* up infinite 1 idle mycentos6x compute up infinite 2 idle mycentos6x1,mycentos6x2 # scontrol show slurm reports Active Steps = NONE Actual CPUs = 2 Actual Boards = 1 Actual sockets = 1 Actual cores = 2 Actual threads per core = 1 Actual real memory = 1464 MB Actual temp disk space = 29644 MB Boot time = 2015-07-22T09:50:34 Hostname = mycentos6x Last slurmctld msg time = 2015-07-22T09:50:37 Slurmd PID = 27755 Slurmd Debug = 3 Slurmd Logfile = /var/log/slurmd.log Version = 14.11.8 # scontrol show config # scontrol show partition # scontrol show node # scontrol show jobs
提交作业
# srun hostname mycentos6x # srun -N 3 -l hostname : mycentos6x : mycentos6x1 : mycentos6x2 # srun sleep 60 &
查询作业
# squeue -a JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) debug sleep kongxx R 0:06 1 mycentos6x
取消作业
# scancel <job_id>
////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
SLURM 的前景
2011 年,SLURM 因各种新特性的加入而得到了更新,包括对 IBM Blue Gene/Q 超级计算机和 Cray XT 以及 XE 计算机的支持。此外,还添加了对 Linux 控制组 (cgroups) 的支持,这对 Linux 过程容器提供了更大的控制。2012 年,Blue Gene/Q 支持将会全面实现,同时实现的还有改进的资源选择,该资源选择取决于作业需求和资源功能(比如,节点特性 AMD)。一种新的工具计划用来报告调度统计,而且在不久的将来,还将会有一种基于 Web 的管理工具。SLURM 的另一个未来计划是在云爆发的上下文中,这会涉及到在云提供者中分配资源,以及将溢出的工作从一个本地集群迁移到云中(也要运行 SLURM 守护程序)。这个模型非常有用,而且支持某些超级计算机工作负载弹性的理念。
最后,SLURM 开发人员也在考虑使用功率和热量数据,以便更有效地分配集群内的工作,比如,将消耗大功率(也会产生更多热量)的作业放在集群内散热较好的区域。
相关文章推荐
- VIM编辑器中去掉windows环境下残留换行^M的方法
- codeforces202A. Mafia【二分】
- Nginx配置性能优化(转)
- eclipse中更改配置使得switch语句不出错
- JQuery日历插件My97DatePicker日期范围限制
- 二叉堆
- 如何使用dmidecode命令查看硬件信息
- Activity生命周期
- Bootstrap导航条可点击和鼠标悬停显示下拉菜单的实现代码
- Java学习笔记(12)Exception Handling and Text I/O
- 9、kvm linux虚拟机在线扩展磁盘
- URL Scheme
- 逆转字符串Reverse String
- FLUSH TABLES WITH READ LOCK 和 LOCK TABLES的区别
- GreenDao的使用详解
- RxJava 学习笔记(一)
- 凸优化
- 十个值得一试的开源深度学习框架
- c#检查网络文件是否存在
- Centos安装(更新)git(亲测有效)