共享 Kubernetes 集群时,只限制单个容器内存还不够:一个团队仍可能通过增加副本耗尽命名空间预算;只有总配额也不够:缺少 requests 的工作负载可能在创建 Pod 时直接被拒绝。本文给出一套独立实验命名空间的配置,把默认值、单容器上限、总量预算与发布余量一起检查。

本文是配置部署与容量推演,不引用生产事故或压测数据。已在本地完成 YAML 解析和预算断言;当前工作机没有配置 Kubernetes 上下文,因此下述服务端准入、调度和失败演练需要在读者的隔离测试集群执行。

先分清三道边界

机制 约束对象 能回答的问题
LimitRange 单个容器等对象 未填写时用什么默认值,单容器可声明多大
ResourceQuota 命名空间聚合用量 新建 Pod 的声明是否会使团队预算超限
调度器 节点可用资源与约束 已获准创建的 Pod 能否放到某个节点

配额按声明的 requests、limits 等计量,不是根据 kubectl top 显示的实时 CPU 用量扣费。通过配额检查也不代表节点有容量。官方配额说明定义了这些约束。

本文只讨论普通无状态 Pod、单容器、无 init container 和注入 sidecar 的情况。启用服务网格、RuntimeClass overhead、特殊资源或 Pod 级资源配置时,必须以准入后的真实对象与 quota 用量为准,不能直接套用下面的乘法。

设计一份能留出发布余量的预算

实验目标:稳定运行两个副本,滚动更新允许额外增加一个副本。每个副本 request 为 250m CPU、128Mi 内存,limit 为 500m CPU、256Mi 内存。

维度 稳态两副本 更新三副本 命名空间上限
requests.cpu 500m 750m 1000m
requests.memory 256Mi 384Mi 512Mi
limits.cpu 1000m 1500m 2000m
limits.memory 512Mi 768Mi 1Gi
pods 2 3 5

四个计算资源维度都要留余量。仅增加 pods 上限不会解决 CPU 或内存配额不足。终止中的 Pod、其他 Deployment 和短时任务也可能占用预算,不能把表中的三副本当成任何发布过程的严格峰值上界。

创建命名空间与策略

将下面内容保存为 quota-policy.yaml,仅用于新建实验空间 quota-lab-20261120。名称刻意固定,方便逐条核对;若该空间已存在且不属于本次实验,应换名并同步修改全部清单,避免覆盖其他人的策略。

apiVersion: v1
kind: Namespace
metadata:
  name: quota-lab-20261120
---
apiVersion: v1
kind: LimitRange
metadata:
  name: container-budget
  namespace: quota-lab-20261120
spec:
  limits:
    - type: Container
      defaultRequest:
        cpu: 250m
        memory: 128Mi
      default:
        cpu: 500m
        memory: 256Mi
      min:
        cpu: 50m
        memory: 32Mi
      max:
        cpu: "1"
        memory: 512Mi
---
apiVersion: v1
kind: ResourceQuota
metadata:
  name: team-budget
  namespace: quota-lab-20261120
spec:
  hard:
    requests.cpu: "1"
    requests.memory: 512Mi
    limits.cpu: "2"
    limits.memory: 1Gi
    pods: "5"

LimitRange 的 defaultRequest 和 default 分别补齐未填写的请求与限制;min、max 限制单容器声明。为了避免多个默认策略产生不明确结果,本实验仅创建一个 LimitRange。LimitRange 官方说明同时说明,策略变更不会追溯改写已运行 Pod。

在已配置测试集群的 Bash 终端执行。每条命令都设置请求超时,失败时停止继续创建业务对象并检查原因。

set -euo pipefail
kubectl --request-timeout=15s config current-context
kubectl --request-timeout=15s apply -f quota-policy.yaml
kubectl --request-timeout=15s -n quota-lab-20261120 get limitrange,resourcequota
kubectl --request-timeout=15s -n quota-lab-20261120 describe quota team-budget

如果组织通过平台统一管理命名空间策略,应把相同配置提交到平台声明源,避免手工 apply 与 GitOps 相互覆盖。创建 Namespace 和策略通常需要额外权限,出现 Forbidden 时先判断是 RBAC 还是资源约束拒绝,不能只按状态码判断。

部署两个显式声明资源的副本

保存为 budget-demo.yaml。镜像标签仅供实验;生产交付应换成组织已批准的 digest。镜像拉取失败与 quota 拒绝是两个阶段的问题。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: budget-demo
  namespace: quota-lab-20261120
spec:
  replicas: 2
  revisionHistoryLimit: 2
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 0
      maxSurge: 1
  selector:
    matchLabels:
      app: budget-demo
  template:
    metadata:
      labels:
        app: budget-demo
    spec:
      containers:
        - name: web
          image: nginx:1.28-alpine
          ports:
            - containerPort: 80
          resources:
            requests:
              cpu: 250m
              memory: 128Mi
            limits:
              cpu: 500m
              memory: 256Mi
          readinessProbe:
            httpGet:
              path: /
              port: 80
            periodSeconds: 3
            timeoutSeconds: 1
kubectl --request-timeout=15s apply -f budget-demo.yaml
kubectl --request-timeout=15s -n quota-lab-20261120 rollout status deployment/budget-demo --timeout=180s
kubectl --request-timeout=15s -n quota-lab-20261120 describe quota team-budget
kubectl --request-timeout=15s -n quota-lab-20261120 get pods -l app=budget-demo -o wide

在没有其他资源的实验空间里,稳定后 quota 的 Used 应与表中两副本一致。不同步时先检查是否仍有旧 Pod 或注入容器,并等待控制器完成用量更新。不要把瞬间读数当作最终结果。

三项准入与失败演练

以下是预期验收条件,不是本机已观察到的集群输出。

1. 默认值确实在服务端注入

用服务端 dry-run 创建独立 Pod,不实际占用新 Pod 配额:

kubectl --request-timeout=15s -n quota-lab-20261120 run default-check --image=nginx:1.28-alpine --restart=Never --dry-run=server -o yaml

检查返回 Pod 的 spec.containers[0].resources:应出现 250m/128Mi request 和 500m/256Mi limit。客户端 --dry-run=client 不经过服务端准入,不能证明默认值生效。dry-run 也不预留配额;其他并发写入仍可能让后续真实创建失败。

2. 单容器越界应被拒绝

复制 budget-demo.yaml,改名为 oversize-demo.yaml;将 Deployment 名称改成 oversize-demo,并把容器的 CPU request 与 limit 都改成 1500m。再执行:

kubectl --request-timeout=15s apply -f oversize-demo.yaml
kubectl --request-timeout=15s -n quota-lab-20261120 describe replicaset -l app=budget-demo

Deployment 对象创建成功不意味着 Pod 能创建成功。应在新 ReplicaSet 事件中看到单容器 CPU 超过 LimitRange 上限的拒绝信息,且没有对应新 Pod。复制的标签保留不变仅为简化本实验查看;实际应用应独立规划选择器。

演练后移除这个失败的实验 Deployment,避免它反复尝试创建并干扰观察:

kubectl --request-timeout=15s -n quota-lab-20261120 delete deployment oversize-demo --wait=true --timeout=60s

3. 总预算不足应体现为 FailedCreate

kubectl --request-timeout=15s -n quota-lab-20261120 scale deployment budget-demo --replicas=5
kubectl --request-timeout=15s -n quota-lab-20261120 rollout status deployment/budget-demo --timeout=120s

最后一条预期非零退出,应在单独终端继续取证,不要让 set -e 跳过恢复步骤:

kubectl --request-timeout=15s -n quota-lab-20261120 describe replicaset -l app=budget-demo
kubectl --request-timeout=15s -n quota-lab-20261120 describe quota team-budget
kubectl --request-timeout=15s -n quota-lab-20261120 get pods -l app=budget-demo
kubectl --request-timeout=15s -n quota-lab-20261120 scale deployment budget-demo --replicas=2
kubectl --request-timeout=15s -n quota-lab-20261120 rollout status deployment/budget-demo --timeout=180s

第五个普通副本会使四项计算资源均越过预算,即使 pods 数量上限允许五个,仍应被拒绝。事件应包含 exceeded quota 和具体资源维度。实际可见 Pod 数量受控制器重试与用量同步时机影响,先等状态收敛,再判断。

用证据区分“没创建”和“没调度”

若 Deployment 副本不足,先看 ReplicaSet 的 Events。FailedCreate 加配额拒绝说明 Pod 尚未进入持久化对象集合;这时加节点无效。如果 Pod 已存在并 Pending,且事件是 FailedScheduling,再检查节点剩余 requests、亲和性、污点等。ImagePullBackOff 则已进入镜像拉取阶段,不能通过调高 quota 修复。

需要扩大预算时,先确认团队真实需求、集群可分配容量和其他租户影响,再修改声明源。降低 quota 不会自动驱逐已有 Pod,但会影响后续创建;降低 LimitRange 也不会自动给旧 Pod 补上新的资源值。因此策略变更必须包含“新建替代副本是否还能成功”的检查。

本文实际验证与上线边界

本地验证解析了两份完整 YAML 共四个对象,检查命名空间、选择器与模板标签、request 不超过 limit、默认值位于 min/max 内,并计算两副本、三副本、五副本的四维预算。正常三副本配置通过;把 requests.cpu 总额改为 500m 的副本配置后,三副本预算断言失败,证明计算检查能识别更新余量被删掉。

这些检查只覆盖本文普通单容器算例,不模拟 Kubernetes 准入控制器。没有进行服务端 schema 校验、实际 Pod 创建、镜像拉取、准入插件或 Webhook 兼容性验证,也没有运行节点调度、滚动更新和性能测试。正式落地应完成上述三项演练,保存准入后的 Pod、ReplicaSet 事件及 quota 的 Used/Hard,再在真实请求下确认资源设置合理。配额不能替代网络隔离、权限隔离和节点容量治理。

参考:Kubernetes ResourceQuota、LimitRange、命名空间 CPU/内存配额示例。