【prometheus】prometheus+grafana+springboot搭建监控平台

原创

已于 2024-07-22 17:32:33 修改 · 2.4k 阅读

39 ·

CC 4.0 BY-SA版权

文章标签：

#prometheus #grafana #spring boot #运维

于 2024-07-12 12:01:13 首次发布

一、prometheus下载安装

官网：https://prometheus.io/
下载地址：https://prometheus.io/download/

1、将安装包上传到服务器上，并解压到 /opt/module 目录下

mkdir /opt/module
tar -zxvf prometheus-2.29.1.linux-amd64.tar.gz -C /opt/module/

2、修改目录名

cd /opt/module
mv prometheus-2.29.1.linux-amd64 prometheus-2.29.1

3、修改配置文件 prometheus.yml

cd prometheus-2.29.1/
vim prometheus.yml

可以看见配置文件如下

在 scrape_configs 配置项下添加配置：

global:
  scrape_interval: 15s
  evaluation_interval: 15s

alerting:
  alertmanagers:
    - static_configs:
        - targets:

rule_files:

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
    - targets: ['192.168.81.136:9090']
 # 添加 PushGateway 监控配置
  - job_name: 'pushgateway'
    static_configs:
    - targets: ['192.168.81.136:9091']
      labels:
        instance: pushgateway
 # 添加 Node Exporter 监控配置
  - job_name: 'node exporter'
    static_configs:
    - targets: ['192.168.81.136:9100', '192.168.81.137:9100', '192.168.81.138:9100']

配置说明：
1、global 配置块：控制 Prometheus 服务器的全局配置
➢ scrape_interval：配置拉取数据的时间间隔，默认为 1 分钟。
➢ evaluation_interval：规则验证（生成 alert）的时间间隔，默认为 1 分钟。
2、rule_files 配置块：规则配置文件
3、scrape_configs 配置块：配置采集目标相关， prometheus 监视的目标。Prometheus 自身的运行信息可以通过 HTTP 访问，所以 Prometheus 可以监控自己的运行数据。
➢ job_name：监控作业的名称
➢ static_configs：表示静态目标配置，就是固定从某个 target 拉取数据
➢ targets ：指定监控的目标，其实就是从哪儿拉取数据。 Prometheus 会从 http://hadoop202:9090/metrics 上拉取数据。
Prometheus 是可以在运行时自动加载配置的。启动时需要添加：–web.enable-lifecycle

4、安装 Pushgateway

Prometheus 在正常情况下是采用拉模式从产生 metric 的作业或者 exporter（比如专门监控主机的 NodeExporter）拉取监控数据。但是我们要监控的是 Flink on YARN 作业，想要让 Prometheus 自动发现作业的提交、结束以及自动拉取数据显然是比较困难的。
PushGateway 就是一个中转组件，通过配置 Flink on YARN 作业将 metric 推到PushGateway，Prometheus 再从 PushGateway 拉取就可以了

1 上传安装包

上传 pushgateway-1.4.1.linux-amd64.tar.gz 到虚拟机的/root 目录

2 解压安装包

# 解压到/opt/module 目录下
tar -zxvf pushgateway-1.4.1.linux-amd64.tar.gz -C /opt/module

3 修改目录名

 cd /opt/module
 mv pushgateway-1.4.1.linux-amd64 pushgateway-1.4.1

5、安装Alertmanager（选择性安装）

1 上传安装包

上传 alertmanager-0.23.0.linux-amd64.tar.gz 到虚拟机的/root 目录

2 解压安装包

# 解压到/opt/module 目录下
tar -zxvf alertmanager-0.23.0.linux-amd64.tar.gz -C /opt/module

3 修改目录名

cd /opt/module
mv alertmanager-0.23.0.linux-amd64 alertmanager-0.23.0

6、安装 Node Exporter（选择性安装）

在 Prometheus 的架构设计中，Prometheus Server 主要负责数据的收集，存储并且对外提供数据查询支持，而实际的监控样本数据的收集则是由 Exporter 完成。因此为了能够监控到某些东西，如主机的 CPU 使用率，我们需要使用到 Exporter。Prometheus 周期性的从 Exporter 暴露的 HTTP 服务地址（通常是/metrics）拉取监控样本数据。
Exporter 可以是一个相对开放的概念，其可以是一个独立运行的程序独立于监控目标以外，也可以是直接内置在监控目标中。只要能够向 Prometheus 提供标准格式的监控样本数据即可。
为了能够采集到主机的运行指标如 CPU, 内存，磁盘等信息。我们可以使用Node Exporter。Node Exporter 同样采用 Golang 编写，并且不存在任何的第三方依赖，只需要下载，解压即可运行。可以从 https://prometheus.io/download/ 获取最新的 nodeexporter 版本的二进制包。

1 上传安装包

上传 node_exporter-1.2.2.linux-amd64.tar.gz 到虚拟机的/root 目录

2 解压安装包

# 解压到/opt/module 目录下
tar -zxvf node_exporter-1.2.2.linux-amd64.tar.gz -C /opt/module

3 修改目录名

cd /opt/module
mv node_exporter-1.2.2.linux-amd64 node_exporter-1.2.2

4 启动并通过页面查看是否成功

cd node_exporter-1.2.2/
./node_exporter

浏览器输入：http://192.168.81.136:9100/metrics，可以看到当前 node exporter 获取
到的当前主机的所有监控数据。

5 节点分发

安装rsync

yum -y install rsync

编写xsync脚本
xsync同步脚本的创建及使用（以Debian10集群为例）_hhhSir’blog的博客-CSDN博客
将解压后的目录分发到要监控的节点

xsync node_exporter-1.2.2

修改 Prometheus 配置文件 prometheus.yml，在 2.1.3 的时候已经添加过配置

- targets: ['192.168.81.136:9100', '192.168.81.137:9100', '192.168.81.138:9100']

6 设置为开机自启

创建service文件

sudo vim /usr/lib/systemd/system/node_exporter.service

[Unit]
Description=node_export
Documentation=https://github.com/prometheus/node_exporter
After=network.target
[Service]
Type=simple
User=root
ExecStart= /opt/module/node_exporter-1.2.2/node_exporter
Restart=on-failure
[Install]
WantedBy=multi-user.target

分发文件

 sudo /home/atguigu/bin/xsync /usr/lib/systemd/system/node_exporter.service

设为开机自启动（所有机器都执行）

 sudo systemctl enable node_exporter.service

启动服务（所有机器都执行）

sudo systemctl start node_exporter.service

查看服务状态

systemctl status node_exporter.service

访问地址：http://192.168.81.136:9100/metrics

7、启动 Prometheus Server 、 Pushgateway 和 Alertmanager

1 Prometheus Server 目录下执行启动命令

nohup ./prometheus --config.file=prometheus.yml > ./prometheus.log 2>&1 &

2 Pushgateway 目录下执行启动命令

nohup ./pushgateway --web.listen-address :9091 > ./pushgateway.log 2>&1 &

3 在 Alertmanager 目录下启动

nohup ./alertmanager --config.file=alertmanager.yml > ./alertmanager.log 2>&1 &

4 访问服务

请求：http://192.168.81.136:9090/

二、PromQL介绍

Prometheus 通过指标名称（metrics name）以及对应的一组标签（labelset）唯一定义一条时间序列。指标名称反映了监控样本的基本标识，而 label 则在这个基本特征上为采集到的数据提供了多种特征维度。用户可以基于这些特征维度过滤，聚合，统计从而产生新的计算后的一条时间序列。PromQL 是 Prometheus 内置的数据查询语言，其提供对时间序列数据丰富的查询，聚合以及逻辑运算能力的支持。并且被广泛应用在 Prometheus 的日常应用当