Kubernetes集群超配节点容量

1、节点超配简介

节点超配是一种主动预留部分集群计算资源的策略。这种预留有助于减少在扩缩容事件期间调度新 Pod 所需的时间, 从而增强集群对突发流量或突发工作负载需求的响应能力。

通过保持一些未使用的容量,确保在新 Pod 被创建时资源可以立即可用,防止 Pod 在集群扩缩容时进入 Pending 状态。

2、创建 PriorityClass

首先为占位 Pod 定义一个 PriorityClass。 先创建一个优先级值为负数的 PriorityClass,稍后将其分配给占位 Pod。 接下来,你将部署使用此 PriorityClass 的 Deployment。

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: placeholder # 这些 Pod 表示占位容量
value: -1000
globalDefault: false
description: "Negative priority for placeholder pods to enable overprovisioning."

然后创建 PriorityClass:

kubectl apply -f https://k8s.io/examples/priorityclass/low-priority-class.yaml

接下来,你将定义一个 Deployment,使用优先级值为负数的 PriorityClass 并运行最小的容器。 当你将此 Deployment 添加到集群中时,Kubernetes 会运行这些占位 Pod 以预留容量。 每当出现容量短缺时,控制面将选择这些占位 Pod 中的一个作为第一个候选者进行抢占。

3、运行请求节点容量的 Pod

apiVersion: apps/v1
kind: Deployment
metadata:
  name: capacity-reservation
  # 你应决定要将此 Deployment 部署到哪个命名空间
spec:
  replicas: 1
  selector:
    matchLabels:
      app.kubernetes.io/name: capacity-placeholder
  template:
    metadata:
      labels:
        app.kubernetes.io/name: capacity-placeholder
      annotations:
        kubernetes.io/description: "Capacity reservation"
    spec:
      #当超配了使用上述节点资源配置
      priorityClassName: placeholder
      affinity: # 有可能的话,将这些 Pod 开销放到不同的节点
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchLabels:
                app: placeholder
            topologyKey: "kubernetes.io/hostname"
      containers:
      - name: pause
        image: registry.k8s.io/pause:3.6
        resources:
          requests:
            cpu: "50m"
            memory: "512Mi"
          limits:
            memory: "512Mi"

基于该清单创建 Deployment:

kubectl --namespace example apply -f https://k8s.io/examples/deployments/deployment-with-capacity-reservation.yaml

4、调整占位资源请求

为占位 Pod 配置资源请求和限制,以定义你希望保持的超配资源量。 这种预留确保为新 Pod 保留可以使用的、特定量的 CPU 和内存。

要编辑 Deployment,可以修改 Deployment 清单文件中的 resources 一节, 设置合适的 requests 和 limits。 你可以将该文件下载到本地,然后用自己喜欢的文本编辑器进行编辑。

你也可以使用 kubectl 来编辑 Deployment:

kubectl edit deployment capacity-reservation

例如,要为 5 个占位 Pod 预留 500m CPU 和 1Gi 内存,请为单个占位 Pod 定义以下资源请求和限制:

  resources:
    requests:
      cpu: "100m"
      memory: "200Mi"
    limits:
      cpu: "100m"

5、设置所需的副本数量

例如,有 5 个副本,每个预留 0.1 CPU 和 200MiB 内存:
CPU 预留总量:5 × 0.1 = 0.5(在 Pod 规约中,你将写入数量 500m)
内存预留总量:5 × 200MiB = 1GiB(在 Pod 规约中,你将写入 1 Gi)

要扩缩容 Deployment,请基于集群的大小和预期的工作负载调整副本数:

kubectl scale deployment capacity-reservation --replicas=5

验证扩缩容效果:

kubectl get deployment capacity-reservation

输出应反映出更新后的副本数:

NAME                   READY   UP-TO-DATE   AVAILABLE   AGE
capacity-reservation   5/5     5            5           2m

说明:
一些自动扩缩组件,特别是 Karpenter, 在考虑节点扩缩容时将偏好的亲和性规则视为硬性规则。如果你使用 Karpenter 或其他使用同样启发式的节点扩缩容组件,你在此处设置的副本数也就是你的集群的最少节点数。

总结:
当请求节点容量超配时,会触发 PodpriorityClassName: placeholder配置,设置分片数为5, cpu: "100m"和memory: "200Mi"乘以5,刚好是为运行的Pod 预留 500m CPU 和 1Gi 内存。从而触发扩缩容时有更多的资源能迅速的投入使用。

6、自动扩缩容组件

6.1、手动方式

在这里插入图片描述

6.2、自动方式

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

bst@微胖子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值