“99% 的请求在 300ms 内完成”需要回答的是达标请求占全部请求的比例。把多个实例的 P99 求平均,无法回答这个问题;只看平均延迟,也会掩盖少量慢请求。本文给出一套经典 Histogram 的指标约定、查询规则和离线验算方式,适用于已有 Prometheus 抓取链路、准备补齐延迟目标的 HTTP 服务。
本文使用构造数据说明计算口径,不引用虚构生产事故,不提供未经测量的性能收益。
先把目标写成可计算的合同
本例约定:以服务端收到并完成处理的请求为样本,耗时单位为秒;不超过 0.3 秒算延迟达标;服务维度为 service,观察窗口先用 5 分钟。99% 是本文示例目标,上线时应由业务方确认。
这是一项纯延迟指标,快速返回的 500 也可能达标。若业务要求“成功且快速”,必须把成功条件同时加入分子,并让分母仍包含全部合格请求。不要在仪表盘中把纯延迟达标率命名为可用率。应用没有观测到的入口超时、进程崩溃前未完成的请求,也不在这个服务端完成请求口径内,应结合入口侧指标。
埋点使用 http_request_duration_seconds,为所有实例统一配置有限边界 0.1, 0.3, 1, 3,并输出标准的 +Inf 桶、_count 和 _sum。通过 SDK 的 Histogram 配置桶边界,在请求结束的统一中间件中观测一次,避免异常路径漏记、重试路径双记。
标签只保留稳定维度,例如 service、instance 与模板化 route。不要使用完整 URL、用户 ID、订单号。若 SDK 已导出同名默认指标,先检查实际标签和桶边界,再修改,避免重复注册。
经典桶是累计计数:le="0.3" 包含所有小于等于 0.3 秒的观测,不只是 0.1 到 0.3 秒这一段。缺少 0.3 边界时,不能从相邻桶精确恢复这个阈值的占比;应先调整埋点,再等待新窗口形成。
从原始时序到服务指标
以下保存为 latency-rules.yml。选择器固定为本例的 job="api",部署时替换为真实 job,并确保服务标签存在。规则组先生成分子和分母,再计算比值。
groups:
- name: api_latency
interval: 30s
rules:
- record: service:http_duration_count:rate5m
expr: sum by (service) (rate(http_request_duration_seconds_count{job="api"}[5m]))
- record: service:http_duration_le_300ms:rate5m
expr: sum by (service) (rate(http_request_duration_seconds_bucket{job="api",le="0.3"}[5m]))
- record: service:http_duration_le_300ms:ratio5m
expr: |
(
service:http_duration_le_300ms:rate5m
/
service:http_duration_count:rate5m
)
and on (service)
(service:http_duration_count:rate5m > 0)
先对每条实例时序执行 rate,再按服务求和,才能分别处理实例计数器重启。不要先把原始计数器求和再计算变化率。分子与分母使用相同窗口、job 和服务范围;如果分母来自另一个 HTTP Counter,必须先证明其请求口径完全一致。
分母为零时,规则过滤掉该服务的比值。仪表盘显示“无请求或数据不足”,不要补成 100%。分子缺失也不能自动当作全部失败或全部成功:检查是否某些实例仍使用旧桶配置,以及采集链路是否完整。应同时查看 up{job="api"},目标被配置删除则需要另行维护预期目标清单。
仪表盘将比值乘 100 显示百分比。用于巡检的短窗口越界查询可以写成:
service:http_duration_le_300ms:ratio5m < 0.99
短窗口只反映近期状态,不等于月度 SLO 报表。不要对每个 5 分钟比值直接求平均来生成月报,否则低流量窗口与高流量窗口权重相同。长期报表应从相同口径的达标请求总量和全部请求总量计算,并审核缺测窗口、保留期、重启和实例更替的影响。告警是否加请求量门槛、持续时间或多窗口燃烧率,应由业务流量和响应策略决定,本例不把示例阈值当作生产分页策略。
为什么不能平均实例百分比
构造一个窗口:实例 A 完成 100 个请求,其中 90 个达标;实例 B 完成 900 个请求,其中 900 个达标。全服务达标率为 (90+900)/(100+900)=99%;实例百分比平均则是 (90%+100%)/2=95%。二者差异来自权重,不是小数精度。
同理,实例 P99 是每个实例分布的一个点,平均后无法还原合并分布。若仍需要 P99 作为排障曲线,可使用经典桶聚合查询:
histogram_quantile(
0.99,
sum by (service, le) (
rate(http_request_duration_seconds_bucket{job="api"}[5m])
)
)
这里必须保留 le。估计分位数与固定边界的达标率承担不同任务:前者展示分布尾部位置,后者直接计算目标阈值下的请求比例。所有实例的桶边界应一致;混合版本期间先按版本检查,不要把残缺桶集合聚合后当作完整分布。
用固定数据验算口径
保存为 latency_contract.py,使用 Python 3 执行。该脚本没有网络依赖,仅验算固定窗口的观测计数,不实现 PromQL 的 rate 外推或时间序列匹配。
"""用固定观测数据核对延迟达标率的统计口径。"""
from fractions import Fraction
# 两组数据分别模拟同一窗口内两个实例的完成请求。
instances = [[0.1] * 90 + [0.8] * 10, [0.2] * 900]
total = sum(len(values) for values in instances)
good = sum(sum(value <= 0.3 for value in values) for values in instances)
assert Fraction(good, total) == Fraction(99, 100)
instance_average = sum(
Fraction(sum(value <= 0.3 for value in values), len(values)) for values in instances
) / len(instances)
assert instance_average == Fraction(95, 100)
assert instance_average != Fraction(good, total)
# 桶边界包含等号,两个累计桶不能相加作为分子。
values = [0.1, 0.3, 0.31]
small = sum(value <= 0.1 for value in values)
medium = sum(value <= 0.3 for value in values)
assert medium == 2
assert Fraction(medium, len(values)) == Fraction(2, 3)
assert small + medium != medium
# 零请求应保留未知状态,不能生成成功率。
empty: list[float] = []
ratio = Fraction(sum(value <= 0.3 for value in empty), len(empty)) if empty else None
assert ratio is None
print("通过:请求量加权、累计桶、边界等号和零流量口径")
将 good 的计算故意改为每个实例只计算 value < 0.1 的数量,再执行,99% 合同断言应失败;也可把最终分子替换成实例百分比平均值,确认验收能够识别错误聚合。断言失败不是可忽略的输出,应先修复统计口径再继续上线。
接入前后的验收步骤
- 在隔离环境给每个实例发送可控请求,核对
_count增量与请求数量一致,le="+Inf"与_count一致,有限桶单调不减。先排除路径漏记和双记。 - 使用部署版本配套的工具执行
promtool check rules latency-rules.yml。将文件加入 Prometheus 配置的rule_files,再用promtool check config prometheus.yml检查引用与整体配置。两步均应成功后,按既有发布机制加载。 - 等待多个抓取周期及完整观察窗口,在规则页检查评估错误;对照原始分子、分母、比值的 service 标签与数值,不能只看仪表盘是否出现曲线。
- 分别演练单实例慢请求、实例重启、零请求和抓取中断。预期依次为达标率下降、重启后统计继续有效、无比值、采集异常可见。重启和短窗口会受到抓取间隔影响,不能按离线精确计数要求 PromQL 完全相等。
- 灰度期间保留旧面板,记录新旧口径差异。回滚时恢复规则文件及配置引用,按原发布流程加载;仅移除仪表盘不会停止规则评估。
本次本地实际执行了正文 Python 完整示例及错误分子变异,检查了 YAML 解析、UTF-8 无 BOM 和代码围栏。未安装或运行 promtool,也未执行真实 Prometheus 抓取、规则加载、SDK 埋点、重启和通知链路验收;离线算术通过不能替代这些集成验证。
本文限定经典 Histogram。Native Histogram 的查询与边界处理应按实际 Prometheus、SDK 版本另行验证,不应直接套用 _bucket 查询。关于桶、分位数及计数器处理,可对照 Prometheus Histogram 实践 与 PromQL 函数说明。
Discussion
评论