ulimit的一些理解和在docker中的经验
2015-07-23 17:19
465 查看
本文主要搬运自:
1、http://weibo.com/p/1001603867707551442110
2、http://blog.yufeng.info/archives/tag/ulimit
3、https://www.ibm.com/developerworks/cn/linux/l-cn-ulimit/
以及参杂着一些我的理解,用于记忆备份,我是勤劳的搬运工。
一、ulimit的理解与使用
ulimit 用于限制 shell 启动进程所占用的资源,支持以下各种类型的限制:所创建的内核文件的大小、进程数据块的大小、Shell 进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数量、分配堆栈的最大大小、CPU 时间、单个用户的最大线程数、Shell 进程所能使用的最大虚拟内存。同时,它支持硬资源和软资源的限制。
ulimit的使用方法如下:
ulimit [options] [limit],如设置打开文件描述符的数量ulimit -n 1024,查看则使用对应选项ulimit -n,参看所有参数设置使用ulimit -a。
具体的options含义及简单设置可以参照下表:
有些限制option并不是很好理解,但是常用的HSafmntuv这些应该还是比较直白的。我们用下面的例子来验证一下ulimit的效果。
可以看到,我们使用ulimit限定最大文件大小为100个blocks,超过限制大小则会被拒绝写入。其他选项我们将不一一验证了。
然而,这里有一点需要特别注意的是:ulimit 作为对资源使用限制的一种工作,是有其作用范围的。那么,它限制的对象是单个用户,单个进程,还是整个系统呢?事实上,ulimit 限制的是当前 shell 进程以及其派生的子进程。举例来说,如果用户同时运行了两个 shell 终端进程,只在其中一个环境中执行了 ulimit -s 100,则该 shell 进程里创建文件的大小收到相应的限制,而同时另一个 shell 终端包括其上运行的子程序都不会受其影响。
那么我们怎么实施ulimit的限制呢?
1、针对当前会话
在当前shell环境中执行即可。
2、针对某个用户或全部用户
添加至/etc/profile或者~/.bashrc。这里可以应用在企业中的跳板机,很多运维人员为了方便常常在跳板机上跑脚本,占据了大量的CPU、硬盘,增加跳板机的压力,管理人员就可以通过ulimit来限制用户对资源的占用。
3、通过配置文件
ulimit的主配置文件为/etc/security/limits.conf,配置文件目录为/etc/security/limits.d,后者定义的选项可以覆盖前者。
配置文件的语法为:<domain> <type> <item> <value>
domain 表示用户或者组的名字,还可以使用 * 作为通配符。Type 可以有两个值,soft 和 hard。Item 则表示需要限定的资源,可以有很多候选值,如 stack,cpu,nofile 等等,分别表示最大的堆栈大小,占用的 cpu 时间,以及打开的文件数。通过添加对应的一行描述,则可以产生相应的限制。
二、在docker中ulimit的限制
问题描述,在环境centos6.5、docker1.3.2的环境下,原博主遇到这样的问题:在/etc/profile设置的ulimit配置未能被docker读取,使用了1024的默认值。这里主要的原因是如上文红字部分所说,由ulimit的限制范围导致。/etc/profile在开机过程中,并未被读取,导致配置没有生效。解决方法有多样,原博主修改了/etc/init.d/functions,这样在service docker start的过程中,就会将配置读取进来。当然你也可以通过修改ulimit的配置文件等其他方法来解决。
进一步分析,docker1.3.2对于不同的系统ulimit的取值方法是不一致,对于centos7、debian等系统有docker的默认值,而对于centos6来说,则继承自OS。而在docker1.6可以通过启动参数进行设置了,如:docker run -d --ulimit nofile=20480:40960 nproc=1024:2048。
这样也就解决了docker在文件句柄方面的相关疑问。
1、http://weibo.com/p/1001603867707551442110
2、http://blog.yufeng.info/archives/tag/ulimit
3、https://www.ibm.com/developerworks/cn/linux/l-cn-ulimit/
以及参杂着一些我的理解,用于记忆备份,我是勤劳的搬运工。
一、ulimit的理解与使用
ulimit 用于限制 shell 启动进程所占用的资源,支持以下各种类型的限制:所创建的内核文件的大小、进程数据块的大小、Shell 进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数量、分配堆栈的最大大小、CPU 时间、单个用户的最大线程数、Shell 进程所能使用的最大虚拟内存。同时,它支持硬资源和软资源的限制。
ulimit的使用方法如下:
ulimit [options] [limit],如设置打开文件描述符的数量ulimit -n 1024,查看则使用对应选项ulimit -n,参看所有参数设置使用ulimit -a。
具体的options含义及简单设置可以参照下表:
选项 | 含义 | 例子 |
-H | 设置硬资源限制,一旦设置不能增加。 | ulimit – Hs 64;限制硬资源,线程栈大小为 64K。 |
-S | 设置软资源限制,设置后可以超过,会有warning,但是不能超过硬资源设置。 | ulimit – Sn 32;限制软资源,32 个文件描述符。 |
-a | 显示当前所有的 limit 信息。 | ulimit – a;显示当前所有的 limit 信息。 |
-c | 最大的 core 文件的大小, 以 blocks 为单位。 | ulimit – c unlimited; 对生成的 core 文件的大小不进行限制。 |
-d | 进程最大的数据段的大小,以 Kbytes 为单位。 | ulimit -d unlimited;对进程的数据段大小不进行限制。 |
-f | 进程可以创建文件的最大值,以 blocks 为单位。 | ulimit – f 2048;限制进程可以创建的最大文件大小为 2048 blocks。 |
-l | 最大可加锁内存大小,以 Kbytes 为单位。 | ulimit – l 32;限制最大可加锁内存大小为 32 Kbytes。 |
-m | 最大内存大小,以 Kbytes 为单位。 | ulimit – m unlimited;对最大内存不进行限制。 |
-n | 可以打开最大文件描述符的数量。 | ulimit – n 128;限制最大可以使用 128 个文件描述符。 |
-p | 管道缓冲区的大小,以 Kbytes 为单位。 | ulimit – p 512;限制管道缓冲区的大小为 512 Kbytes。 |
-s | 线程栈大小,以 Kbytes 为单位。 | ulimit – s 512;限制线程栈的大小为 512 Kbytes。 |
-t | 最大的 CPU 占用时间,以秒为单位。 | ulimit – t unlimited;对最大的 CPU 占用时间不进行限制。 |
-u | 用户最大可用的进程数。 | ulimit – u 64;限制用户最多可以使用 64 个进程。 |
-v | 进程最大可用的虚拟内存,以 Kbytes 为单位。 | ulimit – v 200000;限制最大可用的虚拟内存为 200000 Kbytes。 |
可以看到,我们使用ulimit限定最大文件大小为100个blocks,超过限制大小则会被拒绝写入。其他选项我们将不一一验证了。
然而,这里有一点需要特别注意的是:ulimit 作为对资源使用限制的一种工作,是有其作用范围的。那么,它限制的对象是单个用户,单个进程,还是整个系统呢?事实上,ulimit 限制的是当前 shell 进程以及其派生的子进程。举例来说,如果用户同时运行了两个 shell 终端进程,只在其中一个环境中执行了 ulimit -s 100,则该 shell 进程里创建文件的大小收到相应的限制,而同时另一个 shell 终端包括其上运行的子程序都不会受其影响。
那么我们怎么实施ulimit的限制呢?
1、针对当前会话
在当前shell环境中执行即可。
2、针对某个用户或全部用户
添加至/etc/profile或者~/.bashrc。这里可以应用在企业中的跳板机,很多运维人员为了方便常常在跳板机上跑脚本,占据了大量的CPU、硬盘,增加跳板机的压力,管理人员就可以通过ulimit来限制用户对资源的占用。
3、通过配置文件
ulimit的主配置文件为/etc/security/limits.conf,配置文件目录为/etc/security/limits.d,后者定义的选项可以覆盖前者。
配置文件的语法为:<domain> <type> <item> <value>
domain 表示用户或者组的名字,还可以使用 * 作为通配符。Type 可以有两个值,soft 和 hard。Item 则表示需要限定的资源,可以有很多候选值,如 stack,cpu,nofile 等等,分别表示最大的堆栈大小,占用的 cpu 时间,以及打开的文件数。通过添加对应的一行描述,则可以产生相应的限制。
二、在docker中ulimit的限制
问题描述,在环境centos6.5、docker1.3.2的环境下,原博主遇到这样的问题:在/etc/profile设置的ulimit配置未能被docker读取,使用了1024的默认值。这里主要的原因是如上文红字部分所说,由ulimit的限制范围导致。/etc/profile在开机过程中,并未被读取,导致配置没有生效。解决方法有多样,原博主修改了/etc/init.d/functions,这样在service docker start的过程中,就会将配置读取进来。当然你也可以通过修改ulimit的配置文件等其他方法来解决。
进一步分析,docker1.3.2对于不同的系统ulimit的取值方法是不一致,对于centos7、debian等系统有docker的默认值,而对于centos6来说,则继承自OS。而在docker1.6可以通过启动参数进行设置了,如:docker run -d --ulimit nofile=20480:40960 nproc=1024:2048。
这样也就解决了docker在文件句柄方面的相关疑问。
相关文章推荐
- Openstack juno 与 Docker集成(学习笔记,仅供参考)
- Docker私有仓库建立(CentOS7)
- Docker背后的内核知识—Namespace资源隔离
- centos7 安装docker
- Docker基础技术:Linux Namespace(上)
- Docker 101:介绍与入门体验
- Docker 清理命令
- 7月19日Docker&Kubernetes技术沙龙总结 - DockOne.io
- PHP 应用 Docker 开发大礼包 – Powered by DaoCloud
- 快速理解Docker - 容器级虚拟化解决方案
- Docker持续部署图文详解
- CentOS系统下docker的安装配置及使用详解
- Docker之常用命令
- 快速理解Docker - 容器级虚拟化解决方案
- DockerUI安装、使用
- Docker进入主流,PaaS大有可为
- docker的原理和类比
- Mesos+Zookeeper+Marathon+Docker分布式部署打造PaaS云平台实践(一)
- docker私有库UI和添加私有库到本机能够push和pull
- docker swarm集群TLS配置