共享 Kubernetes 集群时,只限制单个容器内存还不够:一个团队仍可能通过增加副本耗尽命名空间预算;只有总配额也不够:缺少 requests 的工作负载可能在创建 Pod 时直接被拒绝。本文给出一套独立实验命名空间的配置,把默认值、单容器上限、总量预算与发布余量一起检查。
本文是配置部署与容量推演,不引用生产事故或压测数据。已在本地完成 YAML 解析和预算断言;当前工作机没有配置 Kubernetes 上下文,因此下述服务端准入、调度和失败演练需要在读者的隔离测试集群执行。
先分清三道边界
| 机制 | 约束对象 | 能回答的问题 |
|---|---|---|
| LimitRange | 单个容器等对象 | 未填写时用什么默认值,单容器可声明多大 |
| ResourceQuota | 命名空间聚合用量 | 新建 Pod 的声明是否会使团队预算超限 |
| 调度器 | 节点可用资源与约束 | 已获准创建的 Pod 能否放到某个节点 |
配额按声明的 requests、limits 等计量,不是根据 kubectl top 显示的实时 CPU 用量扣费。通过配额检查也不代表节点有容量。官方配额说明定义了这些约束。
本文只讨论普通无状态 Pod、单容器、无 init container 和注入 sidecar 的情况。启用服务网格、RuntimeClass overhead、特殊资源或 Pod 级资源配置时,必须以准入后的真实对象与 quota 用量为准,不能直接套用下面的乘法。
设计一份能留出发布余量的预算
实验目标:稳定运行两个副本,滚动更新允许额外增加一个副本。每个副本 request 为 250m CPU、128Mi 内存,limit 为 500m CPU、256Mi 内存。
| 维度 | 稳态两副本 | 更新三副本 | 命名空间上限 |
|---|---|---|---|
| requests.cpu | 500m | 750m | 1000m |
| requests.memory | 256Mi | 384Mi | 512Mi |
| limits.cpu | 1000m | 1500m | 2000m |
| limits.memory | 512Mi | 768Mi | 1Gi |
| pods | 2 | 3 | 5 |
四个计算资源维度都要留余量。仅增加 pods 上限不会解决 CPU 或内存配额不足。终止中的 Pod、其他 Deployment 和短时任务也可能占用预算,不能把表中的三副本当成任何发布过程的严格峰值上界。
创建命名空间与策略
将下面内容保存为 quota-policy.yaml,仅用于新建实验空间 quota-lab-20261120。名称刻意固定,方便逐条核对;若该空间已存在且不属于本次实验,应换名并同步修改全部清单,避免覆盖其他人的策略。
apiVersion: v1
kind: Namespace
metadata:
name: quota-lab-20261120
---
apiVersion: v1
kind: LimitRange
metadata:
name: container-budget
namespace: quota-lab-20261120
spec:
limits:
- type: Container
defaultRequest:
cpu: 250m
memory: 128Mi
default:
cpu: 500m
memory: 256Mi
min:
cpu: 50m
memory: 32Mi
max:
cpu: "1"
memory: 512Mi
---
apiVersion: v1
kind: ResourceQuota
metadata:
name: team-budget
namespace: quota-lab-20261120
spec:
hard:
requests.cpu: "1"
requests.memory: 512Mi
limits.cpu: "2"
limits.memory: 1Gi
pods: "5"
LimitRange 的 defaultRequest 和 default 分别补齐未填写的请求与限制;min、max 限制单容器声明。为了避免多个默认策略产生不明确结果,本实验仅创建一个 LimitRange。LimitRange 官方说明同时说明,策略变更不会追溯改写已运行 Pod。
在已配置测试集群的 Bash 终端执行。每条命令都设置请求超时,失败时停止继续创建业务对象并检查原因。
set -euo pipefail
kubectl --request-timeout=15s config current-context
kubectl --request-timeout=15s apply -f quota-policy.yaml
kubectl --request-timeout=15s -n quota-lab-20261120 get limitrange,resourcequota
kubectl --request-timeout=15s -n quota-lab-20261120 describe quota team-budget
如果组织通过平台统一管理命名空间策略,应把相同配置提交到平台声明源,避免手工 apply 与 GitOps 相互覆盖。创建 Namespace 和策略通常需要额外权限,出现 Forbidden 时先判断是 RBAC 还是资源约束拒绝,不能只按状态码判断。
部署两个显式声明资源的副本
保存为 budget-demo.yaml。镜像标签仅供实验;生产交付应换成组织已批准的 digest。镜像拉取失败与 quota 拒绝是两个阶段的问题。
apiVersion: apps/v1
kind: Deployment
metadata:
name: budget-demo
namespace: quota-lab-20261120
spec:
replicas: 2
revisionHistoryLimit: 2
strategy:
type: RollingUpdate
rollingUpdate:
maxUnavailable: 0
maxSurge: 1
selector:
matchLabels:
app: budget-demo
template:
metadata:
labels:
app: budget-demo
spec:
containers:
- name: web
image: nginx:1.28-alpine
ports:
- containerPort: 80
resources:
requests:
cpu: 250m
memory: 128Mi
limits:
cpu: 500m
memory: 256Mi
readinessProbe:
httpGet:
path: /
port: 80
periodSeconds: 3
timeoutSeconds: 1
kubectl --request-timeout=15s apply -f budget-demo.yaml
kubectl --request-timeout=15s -n quota-lab-20261120 rollout status deployment/budget-demo --timeout=180s
kubectl --request-timeout=15s -n quota-lab-20261120 describe quota team-budget
kubectl --request-timeout=15s -n quota-lab-20261120 get pods -l app=budget-demo -o wide
在没有其他资源的实验空间里,稳定后 quota 的 Used 应与表中两副本一致。不同步时先检查是否仍有旧 Pod 或注入容器,并等待控制器完成用量更新。不要把瞬间读数当作最终结果。
三项准入与失败演练
以下是预期验收条件,不是本机已观察到的集群输出。
1. 默认值确实在服务端注入
用服务端 dry-run 创建独立 Pod,不实际占用新 Pod 配额:
kubectl --request-timeout=15s -n quota-lab-20261120 run default-check --image=nginx:1.28-alpine --restart=Never --dry-run=server -o yaml
检查返回 Pod 的 spec.containers[0].resources:应出现 250m/128Mi request 和 500m/256Mi limit。客户端 --dry-run=client 不经过服务端准入,不能证明默认值生效。dry-run 也不预留配额;其他并发写入仍可能让后续真实创建失败。
2. 单容器越界应被拒绝
复制 budget-demo.yaml,改名为 oversize-demo.yaml;将 Deployment 名称改成 oversize-demo,并把容器的 CPU request 与 limit 都改成 1500m。再执行:
kubectl --request-timeout=15s apply -f oversize-demo.yaml
kubectl --request-timeout=15s -n quota-lab-20261120 describe replicaset -l app=budget-demo
Deployment 对象创建成功不意味着 Pod 能创建成功。应在新 ReplicaSet 事件中看到单容器 CPU 超过 LimitRange 上限的拒绝信息,且没有对应新 Pod。复制的标签保留不变仅为简化本实验查看;实际应用应独立规划选择器。
演练后移除这个失败的实验 Deployment,避免它反复尝试创建并干扰观察:
kubectl --request-timeout=15s -n quota-lab-20261120 delete deployment oversize-demo --wait=true --timeout=60s
3. 总预算不足应体现为 FailedCreate
kubectl --request-timeout=15s -n quota-lab-20261120 scale deployment budget-demo --replicas=5
kubectl --request-timeout=15s -n quota-lab-20261120 rollout status deployment/budget-demo --timeout=120s
最后一条预期非零退出,应在单独终端继续取证,不要让 set -e 跳过恢复步骤:
kubectl --request-timeout=15s -n quota-lab-20261120 describe replicaset -l app=budget-demo
kubectl --request-timeout=15s -n quota-lab-20261120 describe quota team-budget
kubectl --request-timeout=15s -n quota-lab-20261120 get pods -l app=budget-demo
kubectl --request-timeout=15s -n quota-lab-20261120 scale deployment budget-demo --replicas=2
kubectl --request-timeout=15s -n quota-lab-20261120 rollout status deployment/budget-demo --timeout=180s
第五个普通副本会使四项计算资源均越过预算,即使 pods 数量上限允许五个,仍应被拒绝。事件应包含 exceeded quota 和具体资源维度。实际可见 Pod 数量受控制器重试与用量同步时机影响,先等状态收敛,再判断。
用证据区分“没创建”和“没调度”
若 Deployment 副本不足,先看 ReplicaSet 的 Events。FailedCreate 加配额拒绝说明 Pod 尚未进入持久化对象集合;这时加节点无效。如果 Pod 已存在并 Pending,且事件是 FailedScheduling,再检查节点剩余 requests、亲和性、污点等。ImagePullBackOff 则已进入镜像拉取阶段,不能通过调高 quota 修复。
需要扩大预算时,先确认团队真实需求、集群可分配容量和其他租户影响,再修改声明源。降低 quota 不会自动驱逐已有 Pod,但会影响后续创建;降低 LimitRange 也不会自动给旧 Pod 补上新的资源值。因此策略变更必须包含“新建替代副本是否还能成功”的检查。
本文实际验证与上线边界
本地验证解析了两份完整 YAML 共四个对象,检查命名空间、选择器与模板标签、request 不超过 limit、默认值位于 min/max 内,并计算两副本、三副本、五副本的四维预算。正常三副本配置通过;把 requests.cpu 总额改为 500m 的副本配置后,三副本预算断言失败,证明计算检查能识别更新余量被删掉。
这些检查只覆盖本文普通单容器算例,不模拟 Kubernetes 准入控制器。没有进行服务端 schema 校验、实际 Pod 创建、镜像拉取、准入插件或 Webhook 兼容性验证,也没有运行节点调度、滚动更新和性能测试。正式落地应完成上述三项演练,保存准入后的 Pod、ReplicaSet 事件及 quota 的 Used/Hard,再在真实请求下确认资源设置合理。配额不能替代网络隔离、权限隔离和节点容量治理。
Discussion
评论