深入探索Prometheus：记录规则与告警规则全解析

### Prometheus 规则配置与告警设置全解析 #### 1. 工具实验与问题排查 在处理 Prometheus 配置问题和性能分析时，我们可以使用一些实用工具。 - **promtool**：它有众多可用选项，能帮助我们对 Prometheus 进行多方面的检查和操作。 - **端点和日志**：利用多个端点和日志，可确保一切按预期运行。 - **tsdb 工具**：用于排查和定位 Prometheus 数据库中指标和标签的基数及变动问题。 同时，还有一些常见问题及解决方法： |问题|解决方法| | ---- | ---- | |验证主 Prometheus 配置文件是否有问题|使用 promtool 进行检查| |评估目标暴露的指标是否符合 Prometheus 标准|使用相应的验证工具和规则| |使用 promtool 执行即时查询|按照 promtool 的查询语法进行操作| |查找所有正在使用的标签值|通过 Prometheus 的查询接口进行查询| |在 Prometheus 服务器上启用调试日志|在配置文件中进行相应设置| |区分 ready 和 healthy 端点|了解它们各自的含义和用途| |查找旧的 Prometheus 数据块上标签的变动情况|使用 tsdb 工具进行分析| #### 2. 创建测试环境 为了应用相关概念，我们需要创建一个新的 Prometheus 实例并部署到服务器上，具体步骤如下： 1. 移动到正确的存储库路径： ```bash cd chapter09/ ``` 2. 确保没有其他测试环境正在运行，并启动本章的环境： ```bash vagrant global-status vagrant up ``` 3. 验证测试环境是否成功部署： ```bash vagrant status ``` 输出示例如下： ```plaintext Current machine states: prometheus running (virtualbox) The VM is running. To stop this VM, you can run `vagrant halt` to shut it down forcefully, or you can run `vagrant suspend` to simply suspend the virtual machine. In either case, to restart it again, simply run `vagrant up`. ``` 新实例可进行检查，Prometheus 网络界面可通过 `http://192.168.42.10:9090` 访问。通过以下命令可访问 Prometheus 实例： ```bash vagrant ssh prometheus ``` 测试完成后，清理环境的命令如下： ```bash vagrant destroy -f ``` #### 3. 规则评估机制 Prometheus 允许定期评估 PromQL 表达式，并存储生成的时间序列，这些就是规则，分为记录规则和告警规则。 - **记录规则**：评估结果会作为样本保存到 Prometheus 数据库中指定的时间序列。它可以减轻复杂仪表板的负载，通过预计算昂贵的查询、将原始数据聚合为时间序列并导出到外部系统，还能帮助创建复合范围向量查询。 - **告警规则**：当规则中的 PromQL 表达式评估结果非空时触发。它是 Prometheus 中对时间序列进行告警的机制，触发时会创建新的时间序列，但不使用评估结果作为样本，而是创建一个带有告警名称和状态标签的 `ALERTS` 指标。 #### 4. 使用记录规则 记录规则与主 Prometheus 配置文件分开定义，通过 `rule_files` 顶级配置键包含在主配置中。规则会定期评估，评估间隔可在全局配置中使用 `evaluation_interval` 定义（默认为一分钟）。 例如，测试环境中的配置如下： ```yaml global: ... evaluation_interval: 1m ... rule_files: - "recording_rules.yml" ... ``` `rule_files` 接受一个路径列表，可以是相对于主 Prometheus 配置的相对路径或绝对路径，也可以使用通配符匹配文件名。规则文件的更改不会被 Prometheus 自动拾取，需要重新加载。为避免重新加载或重启失败，建议使用 promtool 提前测试规则文件中的错误。 规则文件采用 YAML 格式，格式如下： ```yaml groups: - name: <group_name_1> interval: <evaluation_interval> rules: - record: <rule_name_1> expr: <promql_expression_1> labels: <label_name>: <label_value> ... - record: <rule_name_N> expr: <promql_expression_N> ... - name: <group_name_N> ... ``` 每个文件在 `groups` 键下定义一个或多个规则组，每个组有名称、可选的评估间隔（默认为全局评估间隔）和规则列表。每个规则指示 Prometheus 将 `expr` 中定义的 PromQL 表达式的评估结果记录到指定的指标名称中，可通过 `labels` 设置添加或覆盖系列标签集。 测试环境中的记录规则示例： ```yaml - name: recording_rules rules: - record: instance:node_cpu:count expr: count without (cpu) (count without (mode) (node_cpu_seconds_total)) ``` 这个规则组使用全局评估间隔，从 Node Exporter 获取 `node_cpu_seconds_total` 指标，计算虚拟机中可用的 CPU 核心数，并将结果记录到新的时间序列 `instance:node_cpu:count` 中。 Prometheus 的 Web 用户界面提供了一个状态页面，可查看加载的规则组、记录规则、记录状态、