0x00 概述
Prometheus和Grafana部署完成后,網絡正常,配置文件正常,抓取agent運行正常,使用curl命令獲取監控端口數據正常,甚至Prometheus內的targets列表內都是全綠,Grafana數據源配置也是全綠;
但是Prometheus查詢界面(在Windows的瀏覽器上)無法查詢出數據,Grafan展示頁面(在Windows的瀏覽器上)也不顯示相關的監控曲線和數據。。。。。。
prometheus搜索指標顯示No datapoints found。。。或者Grafana上顯示都是N/A。。。
0x01 排查與異常
排查Prometheus agent運行狀態, Prometheus Server運行狀態, Grafana Sever運行狀態,一切正常,網絡正常,curl獲取數據正常;
結果發現是用來打開Prometheus web界面和Grafana web界面的Windows機器上的時間是西五區,並不是東八區。。。。。。
將該Windows機器上的時間調整為東八區后,Prometheus web的查詢和Grafana web展示一切恢復正常
0x02 總結
Prometheus監控各個節點對時間要求嚴格,在部署服務之前務必將所有機器的時間進行同步,包括用來展示和查詢的windows機器。
相關請查看該issue https://github.com/prometheus/prometheus/issues/1022