如何绘制美观的 Grafana 面板？以Apache IoTDB 监控指标为例

本文以Apache IoTDB master 分支的 commit Id=eaee1d8d 为例，介绍了 Apache IoTDB 的监控指标通过 Prometheus 格式进行采集，并且使用 Grafana 的方式进行可视化。

1. 监控指标的 Prometheus 格式说明

对于 Metric Name 为 name, Tags 为 K1=V1, …, Kn=Vn 的监控指标有如下映射，其中 value 为具体值

监控指标类型	映射关系
Counter	name_total{k1=“V1”, …, Kn=“Vn”} value
AutoGauge、Gauge	name{k1=“V1”, …, Kn=“Vn”} value
Histogram	name_max{k1=“V1”, …, Kn=“Vn”} value name_sum{k1=“V1”, …, Kn=“Vn”} value name_count{k1=“V1”, …, Kn=“Vn”} value name{k1=“V1”, …, Kn=“Vn”, quantile=“0.0”} value name{k1=“V1”, …, Kn=“Vn”, quantile=“0.5”} value name{k1=“V1”, …, Kn=“Vn”, quantile=“0.75”} value name{k1=“V1”, …, Kn=“Vn”, quantile=“0.99”} value name{k1=“V1”, …, Kn=“Vn”, quantile=“0.999”} value
Rate	name_total{k1=“V1”, …, Kn=“Vn”} value name_total{k1=“V1”, …, Kn=“Vn”, rate=“m1”} value name_total{k1=“V1”, …, Kn=“Vn”, rate=“m5”} value name_total{k1=“V1”, …, Kn=“Vn”, rate=“m15”} value name_total{k1=“V1”, …, Kn=“Vn”, rate=“mean”} value
Timer	name_seconds_max{k1=“V1”, …, Kn=“Vn”} value name_seconds_sum{k1=“V1”, …, Kn=“Vn”} value name_seconds_count{k1=“V1”, …, Kn=“Vn”} value name_seconds{k1=“V1”, …, Kn=“Vn”, quantile=“0.0”} value name_seconds{k1=“V1”, …, Kn=“Vn”, quantile=“0.5”} value name_seconds{k1=“V1”, …, Kn=“Vn”, quantile=“0.75”} value name_seconds{k1=“V1”, …, Kn=“Vn”, quantile=“0.99”} value name_seconds{k1=“V1”, …, Kn=“Vn”, quantile=“0.999”} value

2. Prometheus 函数说明

2.1. Aggregation operator

参考文档：Operation | Prometheus

运算符：sum(calculate sum over dimensions), min(select minimum over dimensions), max(select maximum over dimensions), avg(calculate the average over dimensions), count(count number of elements in the vector)
所有的聚合运算符都可以在所有的维度列上进行聚合，也可以通过 without 或者 by 子句来决定聚合方式，对应语法规约：

<aggr-op> [without|by (<label list>)] ([parameter,] <vector expression>)
   or
<aggr-op>([parameter,] <vector expression>) [without|by (<label list>)]

2.2. Functions

参考文档：Query functions|Prometheus

rate(v range-vector): 计算范围向量中时间序列的每秒平均增长率。rate 会自动调整单调性中断，例如由于目标重启导致的计数器重置。例如，如下的表达式返回范围向量中每个时间序列在过去 5 分钟内测量的每秒 HTTP 请求速率：

rate(http_requests_total{job="api-server"}[5m])

irate(v range-vector): 计算范围向量中时间序列的每秒瞬时增长率。irate 会自动调整单调性中断，例如由于目标重启导致的计数器重置。例如，如下的表达式通过查找 5 分钟前两个最近的数据点得出 HTTP 请求的每秒速率：

irate(http_requests_total{job="api-server"}[5m])

irate 函数同样也是通过计算一个新的直方图作为原生直方图，不同的是，计算的是原生直方图中最后2个分量之间的增长率。适用于易变的、快速移动的计数器。zh 注意，当 irate 与聚合运算符（如 sum）或随着时间聚合的函数 (任何以 _over_time 结尾的函数) 结合使用时，始终首先采用 irate，然后进行聚合，否则 irate 无法在目标启动时候检测到计数器重置。

3. Grafana 可视化绘制

官方文档参考：Grafana Dashboard Doc

3.1. 创建或导入 Dashboards

如果已有 Dashboard，只是修改 Dashboard 跳过本步骤

点击左侧边栏 Dashboards -> browse：

已有 Dashboard：点击右侧 import 按钮导入对应的 Dashboard 即可。
创建 Dashboard：点击右侧 New Dashboard 按钮。

进入 Dashboard 后点击右上角设置按钮：

在 General 界面更新 Name，Description，Tag 等基础信息，调整 Panel options 为 Shared crosshair，从而保证 tooltip 可以跨 panel 使用。
在 Variables 界面定义本 Dashboard 的变量。

添加 job 变量，类型为 Query，对应的Query Options 是 label_values(job)

添加 instance 变量，类型为 Query，对应的 Query Options 是 label_values(up{job=~“$job”},instance)

3.2. 创建 Panel

优秀绘制参考：Grafana Dashboard Demo

点击右上角：Add Panel，其中 Add a new panel 是添加一个面板，Add a new row 是添加一个行（分组，两个行之间的所有 panel 属于前一个row）

点击 Add a new Panel，添加一个面板。首先点击右上角，选择当前 Panel 的类型，比较常用的有Time series(时间序列)、Stat（统计）、Gauge（寄存器）等等，可以视情况选择。

3.3. 编写 PromQL

以 Timeseries 为例，首先编写对应的 PromQL 执行数据查询：

在 PromQL 中，可以用 $instance 访问到刚刚在 Dashboard 的 Variables 中配置的 instance 变量，job 变量也是类似的。
在 Legend 中，可以通过双中括号访问到对应的监控项的对应 Tag 的具体值，比如在下图的例子中，state=“blocked/new/runnable/terminated/timed-waiting/waiting”，通过这样的方式修改图例。
可以通过点击 + Query 在当前面板添加更多时间序列