cgroup实现关键进程资源隔离是如何操作的呢

<think>我们讨论的是cgroup（控制组）如何实现关键进程的资源隔离。cgroup是Linux内核的一个功能，用于限制、记录和隔离进程组所使用的物理资源（如CPU、内存、磁盘I/O等）。操作步骤通常包括：1.挂载cgroup文件系统（如果尚未挂载）。2.创建子cgroup（在对应的子系统目录下创建子目录）。3.配置该子cgroup的资源限制（写入相应的控制文件）。4.将目标进程的PID写入该子cgroup的tasks文件中，从而将进程加入到该cgroup中。下面以隔离关键进程的CPU和内存资源为例，详细说明操作步骤。 ###详细操作步骤####1.挂载cgroup文件系统通常，现代Linux系统已经通过systemd使用了cgroup，但为了手动管理，我们可以挂载cgroup v1（传统版本）或cgroup v2（统一层级版本）。这里以cgroup v1为例，分别挂载cpu和memory子系统。 ```bash#创建挂载点sudomkdir-p/sys/fs/cgroup/cpusudomkdir-p/sys/fs/cgroup/memory#挂载cgroup子系统sudo mount-tcgroup-ocpu cpu/sys/fs/cgroup/cpusudo mount-tcgroup-omemory memory/sys/fs/cgroup/memory```对于cgroupv2（统一挂载）： ```bashsudo mkdir -p /sys/fs/cgroup/unifiedsudo mount-tcgroup2 none/sys/fs/cgroup/unified```####2.创建子cgroup在cpu和memory子系统下分别创建子目录，即创建子cgroup。 ```bash#在cpu子系统下创建sudo mkdir /sys/fs/cgroup/cpu/critical_group#在memory子系统下创建sudomkdir/sys/fs/cgroup/memory/critical_group``` ####3.配置资源限制设置CPU和内存限制。 **CPU限制**：例如，限制该组进程最多使用1个CPU核心的50%（即每100ms周期内使用50ms）。 ```bash#设置CPU配额（单位：微秒，这里100000微秒周期内使用50000微秒） echo50000 >/sys/fs/cgroup/cpu/critical_group/cpu.cfs_quota_usecho100000> /sys/fs/cgroup/cpu/critical_group/cpu.cfs_period_us``` **内存限制**：例如，限制该组进程最多使用1GB内存。```bash#设置内存硬限制（单位：字节）echo1G> /sys/fs/cgroup/memory/critical_group/memory.limit_in_bytes#可选：设置内存软限制（超过时优先回收）echo900M> /sys/fs/cgroup/memory/critical_group/memory.soft_limit_in_bytes``` ####4.将关键进程加入cgroup将目标进程的PID写入tasks文件（cgroup v1）或cgroup.procs文件（cgroup v2）。```bash#假设关键进程的PID是1234echo1234 >/sys/fs/cgroup/cpu/critical_group/tasksecho1234> /sys/fs/cgroup/memory/critical_group/tasks```注意：在cgroupv2中，由于是统一层级，只需写入一个cgroup.procs文件（在对应的子cgroup目录下）。####5.验证隔离效果使用工具（如top,htop, pidstat）观察进程资源使用是否被限制。 ###使用cgroupv2的示例（统一层级）对于cgroup v2，操作类似，但所有子系统都在同一个挂载点下管理。```bash#挂载cgroupv2sudo mount-tcgroup2 none/sys/fs/cgroup/unified#创建子cgroupsudo mkdir /sys/fs/cgroup/unified/critical_group#启用cpu和memory控制器echo"+cpu+memory" >/sys/fs/cgroup/unified/critical_group/cgroup.subtree_control#设置CPU限制echo "50000100000" >/sys/fs/cgroup/unified/critical_group/cpu.max#设置内存限制echo"1073741824"> /sys/fs/cgroup/unified/critical_group/memory.max#加入进程echo1234 >/sys/fs/cgroup/unified/critical_group/cgroup.procs``` ###注意事项-在cgroupv1中，一个进程可以属于不同子系统的不同cgroup，但在cgroupv2中，一个进程只能属于一个统一的cgroup（但该cgroup可以控制多个资源）。 -资源限制的设置需要根据实际需求调整。-使用后，如果不再需要，可以删除子cgroup（删除目录即可），但需要先移除所有进程（将进程移到根cgroup）或终止所有进程。###自动化管理工具生产环境中，通常使用容器运行时（如Docker）或系统服务管理器（如systemd）来管理cgroup。例如，使用systemd创建资源限制的服务单元： ```ini#在服务文件中添加[Service]CPUQuota=50%MemoryLimit=1G```然后通过systemd启动服务，进程会自动被放入对应的cgroup中。§§相关问题§§1.在cgroupv2中，如何同时为同一组进程设置CPU和内存限制？2.当cgroup中的进程尝试使用超过其内存限制的内存时，会发生什么？3.如何通过cgroup实现磁盘I/O的带宽控制？ 4. cgroup的freezer子系统有什么作用？如何使用它？5.在容器技术（如Docker）中，cgroup是如何被用来隔离不同容器资源的？</think>### cgroup 实现关键进程资源隔离操作指南 cgroup（Control Group）是 Linux 内核的资源管理机制，通过层级化进程分组实现资源隔离。以下是关键进程隔离的操作流程： --- #### **一、核心操作步骤** ##### 1. **创建隔离组** ```bash # 创建 CPU 隔离组 sudo mkdir /sys/fs/cgroup/cpu/critical_app # 创建内存隔离组 sudo mkdir /sys/fs/cgroup/memory/critical_app ``` ##### 2. **配置资源限制** **CPU 限制（使用 CFS 调度器）**： ```bash # 限制最大使用 1 个 CPU 核心（100%） echo 100000 > /sys/fs/cgroup/cpu/critical_app/cpu.cfs_quota_us echo 100000 > /sys/fs/cgroup/cpu/critical_app/cpu.cfs_period_us # 设置 CPU 权重（默认1024，越高优先级越高） echo 2048 > /sys/fs/cgroup/cpu/critical_app/cpu.shares ``` **内存限制**： ```bash # 硬限制：最大 2GB echo 2G > /sys/fs/cgroup/memory/critical_app/memory.max # 软限制：1.5GB（超过时优先回收） echo 1536M > /sys/fs/cgroup/memory/critical_app/memory.high # 禁用交换空间 echo 0 > /sys/fs/cgroup/memory/critical_app/memory.swap.max ``` ##### 3. **添加关键进程** ```bash # 获取关键进程 PID（假设为 1234） echo 1234 > /sys/fs/cgroup/cpu/critical_app/cgroup.procs echo 1234 > /sys/fs/cgroup/memory/critical_app/cgroup.procs ``` ##### 4. **实时监控资源** ```bash # 查看 CPU 使用 cat /sys/fs/cgroup/cpu/critical_app/cpu.stat # 查看内存使用 cat /sys/fs/cgroup/memory/critical_app/memory.current ``` --- #### **二、高级隔离配置** ##### 1. **I/O 带宽限制** ```bash # 创建 blkio 组 sudo mkdir /sys/fs/cgroup/blkio/critical_app # 限制磁盘写入 10MB/s（主次设备号通过 lsblk 获取） echo "8:0 wbps=10485760" > /sys/fs/cgroup/blkio/critical_app/blkio.throttle.write_bps_device ``` ##### 2. **网络优先级控制** ```bash # 创建 net_prio 组 sudo mkdir /sys/fs/cgroup/net_prio/critical_app # 设置 eth0 网络优先级（0-15，越高越优先） echo "eth0 10" > /sys/fs/cgroup/net_prio/critical_app/net_prio.ifpriomap ``` ##### 3. **进程冻结（维护时使用）** ```bash # 冻结组内所有进程 echo FROZEN > /sys/fs/cgroup/freezer/critical_app/freezer.state # 解冻恢复 echo THAWED > /sys/fs/cgroup/freezer/critical_app/freezer.state ``` --- #### **三、持久化配置（使用 systemd）** 创建服务单元文件： ```ini # /etc/systemd/system/critical-app.service [Service] ExecStart=/opt/app/critical_bin CPUQuota=100% # 等价于 cpu.cfs_quota_us MemoryHigh=1.5G # 软限制 MemoryMax=2G # 硬限制 IODeviceWeight=/dev/sda 500 ``` 应用配置： ```bash sudo systemctl daemon-reload sudo systemctl start critical-app ``` --- #### **四、验证隔离效果** | 测试场景 | 验证命令 | |------------------------|-----------------------------| | **CPU 过载测试** | `stress -c 2` 观察进程是否被限制 | | **内存溢出测试** | 触发 OOM 查看是否仅隔离组进程被终止 | | **磁盘带宽测试** | `dd if=/dev/zero of=test.bin bs=1M count=1000` | > **关键特性**： > - **层级结构**：子 cgroup 继承父组限制 > - **资源统计**：实时监控 `/sys/fs/cgroup/.../*.stat` 文件 > - **动态调整**：运行时修改限制值立即生效 --- #### **五、生产环境最佳实践** 1. **安全隔离**：结合 `namespaces` 实现完全隔离 2. **资源预留**：为系统进程保留资源（`system.slice`） 3. **自动回收**：配置 `memory.oom_control` 触发策略 4. **审计跟踪**：通过 `cgroup audit` 模块记录操作