linux内核线程参数优化

linux内核线程参数优化

在Linux中，内核线程参数可以通过 /proc/sys/kernel/ 目录下的文件进行调整。以下是一些与内核线程调度和性能相关的参数，以及它们的可能的优化值：

• threads-max: 控制系统中可以有多少个线程。

• pid_max: 控制系统中进程ID的最大数目。

• panic: 如果系统出现“panic”（严重错误），则指定内核等待的秒数，超时后系统将进入单用户模式。

• threads-nice-max: 控制nice值的最大值，nice值越大表示优先级越低。

• threads-nice-min: 控制nice值的最小值，nice值越小表示优先级越高。

1 进程数最大值修改方法

实际的系统进程数上限收到3个配置项的影响：

1）threads-max (/proc/sys/kernel/threads_max)

这个值表示物理内存决定的系统进程数上限，fork_init中有：

max_threads = mempages / (THREAD_SIZE/PAGE_SIZE) / 8

2）pid_max (/proc/sys/kernel/pid_max)

这个值表示进程ID的上限。为了兼容旧版，默认为32768（即两个字节）。

<code class="hljs ruby has-numbering" style="display: block; padding: 0px; color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal; background: transparent;">echo <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">4194303</span> > <span class="hljs-regexp" style="color: rgb(0, 136, 0); box-sizing: border-box;">/proc/sys</span><span class="hljs-regexp" style="color: rgb(0, 136, 0); box-sizing: border-box;">/kernel/pid</span>_max</code>

3）RLIMIT_NPROC (ulimit -u 或者 getrlimit)

这个值表示单个用户允许的最大进程数上限。系统默认为threads-max的一半：

init_task.rlim[RLIMIT_NPROC].rlim_cur = max_threads/2;
init_task.rlim[RLIMIT_NPROC].rlim_max = max_threads/2;

案例

某环境上：

threads-max = 139264；

pid_max = 32768

RLIMIT_NPROC = 69632

1、此时，使用根用户不断创建进程，最终创建了约32378，考虑到原有的进程数，比较接近pid_max这个值；

2、改pid_max为18000时，最终创建了17612个进程；

3、修改pid_max为80000，换成普通用户，最终创建了67913个进程

2 最大线程数限制及当前线程数查询

1）查看系统允许的最大线程数限制

cat /proc/sys/kernel/threads-max

Linux无法直接控制单个进程可拥有的线程数，但有参考公式max = VM/stack_size，默认stack为8k，可通过降低stack大小或增加虚拟内存来调大每个进程可拥有的最大线程数；
对于支持多线程的程序如Java，有可能会遇到一个进程无法创建更多线程的情形，其原因多种多样，而OS端可能由此参数造成。

2）查看系统允许的最大进程数

cat  /proc/sys/kernel/pid_max

3 查看当前操作系统资源限制

ulimit -a  可查看操作系统当前所有的资源限制信息。

# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 6865
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 655350
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 6865
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

root用户下执行 ulimit -a 然后查看 max user processes 这个值通常是系统最大线程数的一半：/proc/sys/kernel/threads-max/2

max user processes 62879

/proc/sys/kernel/threads-max 125758

• max user processes：当前用户同时打开的进程(包括线程)的最大个数

普通用户下 ulimit -u 出现的max user processes的值 默认是 /etc/security/limits.d/20-nproc.conf（centos6 是90-nproc.conf文件中的值。普通用户默认是1024。

3 limit配置

打开/etc/security/limits.conf (部分的系统是在/etc/security/limits.d/90-nproc.conf)

soft是软性配置，hard是硬配置，比如soft设为1024，hard设为2048 ，则当使用数在1~1024之间时可以随便使用，1024~2048时会出现警告信息，大于2048时，就会报错。

• soft xxx : 代表警告的设定，可以超过这个设定值，但是超过后会有警告。

• hard xxx : 代表严格的设定，不允许超过这个设定的值。

• nproc : 是操作系统级别对每个用户创建的进程数的限制

• nofile : 是每个进程可以打开的文件数的限制

设置限制数量，第一列表示用户，* 表示所有用户

* soft nproc ：单个用户可用的最大进程数量(超过会警告);
* hard nproc：单个用户可用的最大进程数量(超过会报错);
* soft nofile ：可打开的文件描述符的最大数(超过会警告);
* hard nofile ：可打开的文件描述符的最大数(超过会报错);

注：

①一般soft的值会比hard小，也可相等。

②/etc/security/limits.d/里面配置会覆盖/etc/security/limits.conf的配置

③只有root用户才有权限修改/etc/security/limits.conf

④如果limits.conf没有做设定，则默认值是1024

重启或执行systl -p生效。

4 查询当前某程序的线程数

• pstree -p `ps -e | grep 进程名称| awk '{print $1}'` | wc -l 
• pstree -p 进程号 | wc -l：管道符号"|"左边命令的输出作为右边命令的输入

5 调整系统进程数配置

直接修改/etc/security/limits.conf 文件中的 * soft nproc 65535 值后，普通用户最大进程数无法达到65535 ，因为用户的max user processes的值，最后是受全局的kernel.pid_max的值限制。也就是说kernel.pid_max=1024 ，那么用户的max user processes的值是127426 ，用户能打开的最大进程数还是1024。

1）永久修改系统最高进程数的方法
在/etc/sysctl.conf中添加kernel.pid_max = 65535

# vim /etc/sysctl.conf
kernel.pid_max = 65535

或者：

echo "kernel.pid_max = 65535" >> /etc/sysctl.conf

然后重启机器。

2）临时修改的方法

echo 65535 > /proc/sys/kernel/pid_max

所以以上都操作完成后，才算是正确修改了max user processes 的值

6 系统命令

1）ulimit命令

设置限制，可以把命令加到profile文件里
命令参数

• -a     显示所有限制
• -c     core文件大小的上限
• -d     进程数据段大小的上限
• -f     shell所能创建的文件大小的上限
• -m     驻留内存大小的上限
• -s     堆栈大小的上限
• -t     每秒可占用的CPU时间上限
• -p     管道大小
• -n     打开文件数的上限
• -u     进程数的上限
• -v     虚拟内存的上限

例如：临时修改堆栈大小的上限
ulimit -s 1024

2）sysctl命令

• -a 显示所有内核参数

• -w 临时生效内核参数 例如sysctl -w vm.max_map_count=262144

• -p 生效/etc/sysctl.conf中的内核参数

3）ps命令

ps hH p <PID> 查看当前PID的线程数

ps hH p 87276
 87276 ?        Ssl    2:52 /usr/bin/dockerd
 87276 ?        Ssl    0:38 /usr/bin/dockerd
 87276 ?        Ssl    0:27 /usr/bin/dockerd
 87276 ?        Ssl    0:00 /usr/bin/dockerd
 87276 ?        Ssl    0:00 /usr/bin/dockerd
 87276 ?        Ssl    0:00 /usr/bin/dockerd
 87276 ?        Ssl    3:27 /usr/bin/dockerd
 87276 ?        Ssl    3:39 /usr/bin/dockerd
 87276 ?        Ssl    3:26 /usr/bin/dockerd
 87276 ?        Ssl    0:04 /usr/bin/dockerd

7 nofile与nproc

1）nofile

• nofile表示单个进程可以打开的最大文件句柄数（默认值，软限制：1024，硬限制：4096）
• /proc/sys/fs/file-max表示整个系统内核可以分配的最大文件句柄数（默认值约为物理内存转换成kb的值/10），可修改。
• /proc/sys/fs/file-nr表示整个系统内核的文件句柄统计数据（只读），包含三个值，1：整个系统内核已分配的文件句柄数，2：整个系统内核已分配但未使用的文件句柄数（一般情况下为0），3：整个系统内核可以分配的最大文件句柄数（等于file-max）。
• /proc/sys/fs/nr_open表示单个进程可以分配的最大文件句柄数（默认值为1048576），可修改。
• nofile的值不能超过nr_open的值，如果配置文件中nofile的硬限制的值超过nr_open的值将会导致无法登录系统

单个进程可以打开的最大文件句柄数由nofile和file-max同时约束，假如一个进程已打开的文件句柄数小于nofile，但整个系统内核所有进程打开的文件句柄数已经达到file-max，此时这个进程也不能再打开文件句柄了。

2）nproc

• nproc表示单个用户创建的进程数（默认值，软限制：threads-max/2，硬限制：threads-max/2），线程的实现其实是一个轻量级的进程，所以线程也算进程
• /proc/sys/kernel/threads-max表示整个系统内核可以分配的最大线程数，可修改。
• /proc/sys/kernel/pid_max表示整个系统内核可以分配的最大进程ID（默认值为32768，2个字节的最大值），也就是说，整个系统内核最多只能分配pid_max个进程或线程，如需修改执行命令，可修改。
• /proc/sys/vm/max_map_count表示单个进程可以分配的内存映射区域的最大数量（默认值为65530），由于java中每创建一个线程需要分配2个内存映射区域，并且jvm本身也要占用部分内存映射区域，所以java程序理论上最多可以创建的线程数为略小于max_map_count/2（实际上还受jvm参数-Xms、-Xmx、-Xss以及操作系统物理内存的影响），如果超过这个值会报错“max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]”，可修改；
• max_map_count，默认值为65536，该值表示文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量。虚拟内存区域是一个连续的虚拟地址空间区域。在进程的生命周期中，每当程序尝试在内存中映射文件，链接到共享内存段，或者分配堆空间的时候，这些区域将被创建。调优这个值将限制进程可拥有VMA的数量。限制一个进程拥有VMA的总数可能导致应用程序出错，因为当进程达到了VMA上线但又只能释放少量的内存给其他的内核进程使用时，操作系统会抛出内存不足的错误。如果你的操作系统在NORMAL区域仅占用少量的内存，那么调低这个值可以帮助释放内存给内核用

单个进程可以创建的线程数由nproc、threads-max、pid_max、max_map_count以及系统资源同时约束，达到其中一个的上限就不能再创建线程了。

3）注意事项

CentOS7中/etc/security/limits.d/20-nproc.conf（CentOS6是90-nproc.conf）会覆盖/etc/security/limits.conf中的nproc配置，前提条件是，(20|90)-nproc.conf和limits.conf的domain相同或者(20|90)-nproc.conf比limits.conf的domain更具体，优先级从高到低分别为：

• /etc/security/limits.d/(20|90)-nproc.conf中domain为具体用户的配置
• /etc/security/limits.conf中domain为具体用户的配置
• /etc/security/limits.d/(20|90)-nproc.conf中domain为通配符（）的配置
• /etc/security/limits.conf中domain为通配符（）的配置

• domain中具体用户比通配符（*）优先级高。
• 软限制不能大于硬限制，如果配置文件中软限制设置的比硬限制高，则软限制会使用硬限制的值。

• 通过ulimit命令设置软限制不能超过硬限制。

• root用户可以通过ulimit命令降低和提高硬限制（nofile的值不能超过nr_open的值）。

• 非root用户可以通过ulimit命令降低硬限制，但不可以通过ulimit命令提高硬限制。

8 Java线程数限制条件

Java虚拟机本身限制：

•     -Xms  #intial java heap size
•     -Xmx  #maximum java heap size
•     -Xss  #the stack size for each thread