一、概述
背景
Loki的第一個穩定版本於2019年11月19日發布，是 Grafana Labs 團隊最新的開源項目，是一個水平可擴展，高可用性，多租戶的日志聚合系統。 Grafana 對 Loki 的描述如下：
Loki: like Prometheus, but for logs. Loki is a horizontally-scalable, highly-available, multi-tenant log aggregation system inspired by Prometheus. It is designed to be very cost effective and easy to operate. It does not index the contents of the logs, but rather a set of labels for each log stream.
簡單說，Loki 是專門用於聚集日志數據，重點是高可用性和可伸縮性。與競爭對手不同的是，它確實易於安裝且資源效率極高。
血衫目前運維大概上百個節點，雖然系統是統一的基線版本且使用docker運行應用，平時相安無事，但變更后的問題排查仍有點心有余悸。對一個火熱的日志系統elk也有淺嘗輒止，奈何對於非核心應用，多耗散一份算力意味着成本增加和利潤的減少，elk對於小團隊來說，還是過於笨重。趁着近日的疫情無法外出，調研后將 Loki 上線了生產，可以說是完美契合了中小團隊對日志平台的需求。
介紹
與其他日志聚合系統相比，Loki具有下面的一些特性：
- 不對日志進行全文索引（vs ELK技）。通過存儲壓縮非結構化日志和僅索引元數據，Loki 操作起來會更簡單，更省成本。
- 通過使用與 Prometheus 相同的標簽記錄流對日志進行索引和分組，這使得日志的擴展和操作效率更高。
- 特別適合儲存 Kubernetes Pod 日志; 諸如 Pod 標簽之類的元數據會被自動刪除和編入索引。
- 受 Grafana 原生支持。
Loki 由以下3個部分組成：
loki是主服務器，負責存儲日志和處理查詢。promtail是代理，負責收集日志並將其發送給 loki 。Grafana用於 UI 展示。
二、安裝
本文以一台centos 7.6主機來演示一下loki，ip地址為：192.168.31.229
Docker-compose.yml 可以參考Loki的文檔介紹，開箱即用。
創建目錄/opt/loki，文件結構如下：
./
└── docker-compose.yaml
docker-compose.yaml
version: "3" networks: loki: services: loki: image: grafana/loki:latest ports: - "3100:3100" networks: - loki promtail: image: grafana/promtail:latest networks: - loki grafana: image: grafana/grafana:master ports: - "3000:3000" networks: - loki
說明：這里啟動了3個容器，都是運行在網橋loki上，方便相互通訊。
然后直接使用 docker-compose 啟動即可：
docker-compose up -d
查看服務狀態
# docker-compose ps Name Command State Ports --------------------------------------------------------------------------------- loki_grafana_1 /run.sh Up 0.0.0.0:3000->3000/tcp loki_loki_1 /usr/bin/loki -config.file ... Up 0.0.0.0:3100->3100/tcp loki_promtail_1 /usr/bin/promtail -config. ... Up
二、使用
安裝完成后，訪問節點的 3000 端口訪問 grafana，默認用戶名和密碼都是admin
http://192.168.31.229:3000/
選擇添加數據源：
選擇loki
源地址配置http://loki:3100即可
注意：這里的 http://loki:3100，表示訪問容器名為loki的3100端口。
點擊保存
保存完成后，切換到 grafana 左側區域的Explore
即可進入到Loki的頁面
點擊Log labels就可以把當前系統采集的日志標簽給顯示出來，可以根據這些標簽進行日志的過濾查詢：
選擇job-->varlogs
點擊右上角的Run Query，效果如下：
這里展示的是promtail容器里面/var/log目錄中的日志
promtail容器/etc/promtail/config.yml
server: http_listen_port: 9080 grpc_listen_port: 0 positions: filename: /tmp/positions.yaml clients: - url: http://loki:3100/loki/api/v1/push scrape_configs: - job_name: system static_configs: - targets: - localhost labels: job: varlogs __path__: /var/log/*log
這里的job就是varlog，文件路徑就是/var/log/*log
四、配置
從上面的步驟已經可以一窺使用方法了，如果要使用起來，我們還需要了解如下信息：
Loki 的配置
Loki的詳細配置，可查看官方文檔：https://github.com/grafana/loki/blob/master/docs/README.md
配置相關文檔： https://github.com/grafana/loki/blob/v1.3.0/docs/configuration/README.md
我目前均保留了保留默認配置。
promtail的配置
promtail 是 Loki 的官方支持的日志采集端，在需要采集日志的節點上運行采集日志，再統一發送到 Loki 進行處理。我們編寫的大多是這一部分。
官方配置說明： https://github.com/grafana/loki/blob/v1.3.0/docs/clients/promtail/configuration.md
除了使用Promtail，社區還有很多采集日志的組件，比如fluentd、fluent bit等，都是比較優秀的。
五、選擇器
對於查詢表達式的標簽部分，將其包裝在花括號中{}，然后使用鍵值對的語法來選擇標簽，多個標簽表達式用逗號分隔，比如：
{app="mysql",name="mysql-backup"}
目前支持以下標簽匹配運算符：
=等於!=不相等=~正則表達式匹配!~不匹配正則表達式
比如：
{name=~"mysql.+"}
{name!~"mysql.+"}
適用於Prometheus標簽選擇器規則同樣也適用於Loki日志流選擇器。
六、過濾器
編寫日志流選擇器后，您可以通過編寫搜索表達式來進一步過濾結果。搜索表達式可以只是文本或正則表達式。
查詢示例：
{job="mysql"} |= "error"
{name="kafka"} |~ "tsdb-ops.*io:2003"
{instance=~"kafka-[23]",name="kafka"} != kafka.server:type=ReplicaManager
過濾器運算符可以被鏈接，並將順序過濾表達式-結果日志行將滿足每個過濾器。例如：
{job="mysql"} |= "error" != "timeout"
已實現以下過濾器類型：
- |= 行包含字符串。
- != 行不包含字符串。
- |~ 行匹配正則表達式。
- !~ 行與正則表達式不匹配。
regex表達式接受RE2語法。默認情況下，匹配項區分大小寫，並且可以將regex切換為不區分大小寫的前綴(?i)。
更多內容可參考官方說明
舉例，我需要查詢包含關鍵字packages
{job="varlogs"} |= "packages"
效果如下：
參考資料
本文參考鏈接：
https://blog.kelu.org/tech/2020/01/31/grafana-loki-for-logging-aggregation.html
https://www.cnblogs.com/ssgeek/p/11584870.html