多租户Kubernetes集群架构设计实践——隔离、安全与弹性扩缩容

原创于 2025-07-27 16:00:57 发布 · 940 阅读

27 ·

CC 4.0 BY-SA版权

文章标签：

#Kubernetes #Multi-Tenancy #Architecture

后端技术栈小结专栏收录该内容

157 篇文章

订阅专栏

多租户Kubernetes集群架构设计实践——隔离、安全与弹性扩缩容

在企业级环境中，多个租户共享同一Kubernetes集群可以提升资源利用、降低运维成本，但也对隔离、安全和弹性伸缩提出更高要求。本文以实战经验为核心，结合真实生产场景，分享多租户Kubernetes集群的架构思路与落地方案。

一、业务场景描述

一家SaaS厂商需要在单一Kubernetes集群中承载多个客户（租户），每个租户业务隔离且具备以下需求：

独立命名空间、网络隔离，防止越权访问；
基于角色的权限控制（RBAC），确保运维与租户运维权限分离；
资源配额与弹性伸缩，各租户可按需动态扩容；
安全审计及合规性要求，高危操作需可追溯；
最低化集群升级与运维风险。

二、技术选型过程

命名空间隔离：利用Kubernetes Namespace天然隔离。
网络隔离：选型Calico作为CNI，支持NetworkPolicy和IPPool隔离；
安全策略：结合OPA Gatekeeper或Kyverno，定义PodSecurity、Admission Webhook；
资源管理：借助ResourceQuota和LimitRange对租户进行流量和资源限制；
弹性扩缩容：HPA/VPA配合Cluster Autoscaler实现水平/垂直伸缩；
认证与权限：采用OpenID/OAuth2集成外部Identity Provider，结合RBAC细粒度授权；
日志与审计：通过ELK/EFK堆栈采集，并在Kubernetes审计日志中配置审计策略；

综合对比后，选择Calico + OPA Gatekeeper + HPA/Cluster Autoscaler的组合方案。

三、实现方案详解

3.1 Namespace与资源配额

为每个租户创建独立Namespace，并配置ResourceQuota与LimitRange：

apiVersion: v1
kind: Namespace
metadata:
  name: tenant-alpha
---
apiVersion: v1
kind: ResourceQuota
metadata:
  name: tenant-alpha-quota
  namespace: tenant-alpha
spec:
  hard:
    requests.cpu: "4"
    requests.memory: 8Gi
    limits.cpu: "8"
    limits.memory: 16Gi
    pods: "50"
---
apiVersion: v1
kind: LimitRange
metadata:
  name: tenant-alpha-limits
  namespace: tenant-alpha
spec:
  limits:
  - default:
      cpu: 200m
      memory: 512Mi
    defaultRequest:
      cpu: 100m
      memory: 256Mi
    type: Container

3.2 网络隔离与策略

使用Calico CNI，通过NetworkPolicy实现租户内部流量控制：

apiVersion: projectcalico.org/v3
kind: NetworkPolicy
metadata:
  name: deny-all-external
  namespace: tenant-alpha
spec:
  selector: "all()"
  types:
  - Ingress
  - Egress
  ingress: []
  egress: []

根据业务需求，逐步放行租户Pod与外部服务的访问：

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-dns
  namespace: tenant-alpha
spec:
  podSelector: {}
  policyTypes:
  - Egress
  egress:
  - to:
    - namespaceSelector:
        matchLabels:
          name: kube-system
      podSelector:
        matchLabels:
          k8s-app: kube-dns
    ports:
    - protocol: UDP
      port: 53

3.3 安全策略和审计

结合OPA Gatekeeper实现PSP替代方案：

apiVersion: templates.gatekeeper.sh/v1beta1
kind: ConstraintTemplate
metadata:
  name: k8spsp
spec:
  crd:
    spec:
      names:
        kind: K8sPSP
  targets:
    - target: admission.k8s.gatekeeper.sh
      rego: |
        package k8spsp
        violation[{
          "msg": msg
        }] {
          container := input.review.object.spec.containers[_]
          not container.securityContext
          msg := sprintf("容器 %v 未设置 securityContext", [container.name])
        }

审计日志配置示例（/etc/kubernetes/audit-policy.yaml）：

apiVersion: audit.k8s.io/v1
kind: Policy
rules:
- level: Metadata
  verbs: ["create","delete","patch","update"]
  resources:
  - group: ""
    resources: ["pods"]

将审计日志输出到ELK：在API Server 启动参数添加 --audit-policy-file 和 --audit-log-path。

3.4 弹性扩缩容方案

Horizontal Pod Autoscaler (HPA)：基于CPU/内存或自定义指标；

apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: webapp-hpa
  namespace: tenant-alpha
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: webapp
  minReplicas: 2
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 70

Cluster Autoscaler：部署在集群，自动弹性节点池；
Vertical Pod Autoscaler (VPA)：推荐在测试环境评估后再逐步推广。

3.5 认证与授权

结合Keycloak提供OIDC认证，在API Server增加参数：

--oidc-issuer-url=https://auth.example.com/realms/k8s
--oidc-client-id=kubernetes
--oidc-username-claim=preferred_username
--oidc-groups-claim=groups

基于角色绑定RBAC示例：

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: tenant-admin-binding
  namespace: tenant-alpha
subjects:
- kind: User
  name: "alice@tenant.com"
roleRef:
  kind: Role
  name: admin
  apiGroup: rbac.authorization.k8s.io

四、踩过的坑与解决方案

NetworkPolicy冲突：初期定义deny-all策略后DNS无法解析，需额外放行CoreDNS所在Namespace。
ResourceQuota误配置：租户资源突增导致Quota不足，经测试后将requests和limits分离设置，预留Burst空间。
API Server认证延迟：OIDC同步组信息时延迟，改用Keycloak的Group映射Cache，配置--oidc-group-cache-ttl=10m。
审计日志过大：全量日志采集造成存储压力，采用分级审计策略，仅追踪高危资源。
节点伸缩抖动：Cluster Autoscaler默认阈值敏感，调整--scale-down-unneeded-time为15m，避免频繁抖动。