日志收集系統loki部署

一、簡 介
Loki是受Prometheus啟發由Grafana Labs團隊開源的水平可擴展，高度可用的多租戶日志聚合系統。 開發語言: Google Go。它的設計具有很高的成本效益，並且易於操作。使用標簽來作為索引，而不是對全文進行檢索，也就是說，你通過這些標簽既可以查詢日志的內容也可以查詢到監控的數據簽，極大地降低了日志索引的存儲。系統架構十分簡單，由以下3個部分組成 ：

Loki 是主服務器，負責存儲日志和處理查詢 。
promtail 是代理，負責收集日志並將其發送給 loki 。
Grafana 用於 UI 展示。

 

只要在應用程序服務器上安裝promtail來收集日志然后發送給Loki存儲，就可以在Grafana UI界面通過添加Loki為數據源進行日志查詢（如果Loki服務器性能不夠，可以部署多個Loki進行存儲及查詢）。作為一個日志系統不關只有查詢分析日志的能力，還能對日志進行監控和報警

 

 

 

 

1. promtail收集並將日志發送給loki的 Distributor 組件
2. Distributor會對接收到的日志流進行正確性校驗，並將驗證后的日志分批並行發送到Ingester
3. Ingester 接受日志流並構建數據塊，壓縮后存放到所連接的存儲后端
4. Querier 收到HTTP查詢請求，並將請求發送至Ingester 用以獲取內存數據 ，Ingester 收到請求后返回符合條件的數據 ；
5. 如果 Ingester 沒有返回數據，Querier 會從后端存儲加載數據並遍歷去重執行查詢 ，通過HTTP返回查詢結果

 

三、與 ELK 比 較
ELK雖然功能豐富，但規模復雜，資源占用高，操作苦難，很多功能往往用不上，有點殺雞用牛刀的感覺。
loki 不對日志進行全文索引。通過存儲壓縮非結構化日志和索引元數據，Loki 操作起來會更簡單，更省成本。
通過使用與 Prometheus 相同的標簽記錄流對日志進行索引和分組，這使得日志的擴展和操作效率更高。
安裝部署簡單快速，且受 Grafana 原生支持。

四、下載

curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/loki-linux-amd64.zip" 
curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/promtail-linux-amd64.zip"
wget https://dl.grafana.com/oss/release/grafana-7.1.0-1.x86_64.rpm

 

五 安裝

mkdir  /data/loki/{chunks,index}
unzip loki-linux-amd64.zip
mv  loki-linux-amd64 /data/loki/

新建loki的配置文件：
vi /data/loki/loki.yml

auth_enabled: false

server:
  http_listen_port: 3100

ingester:
  lifecycler:
    address: 172.16.230.84
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 5m
  chunk_retain_period: 30s

schema_config:
  configs:
  - from: 2020-07-21
    store: boltdb
    object_store: filesystem
    schema: v11
    index:
      prefix: index_
      period: 168h   #每張表的時間范圍6天

storage_config:
  boltdb:
    directory: /data/loki/index   #索引文件存儲地址

  filesystem:
    directory: /data/loki/chunks  #塊存儲地址

limits_config:
  enforce_metric_name: false
  reject_old_samples: true
  reject_old_samples_max_age: 168h


chunk_store_config:
  # 最大可查詢歷史日期 90天
  max_look_back_period: 2160h
 
# 表的保留期90天
table_manager:
  retention_deletes_enabled: true
  retention_period: 2160h       

啟動 loki

cd /data/loki
./lock-linux-amd64  -config.file=/data/loki/loki.yml  &

 

安裝promtail

mkdir  /data/promtail
unzippromtail-linux-amd64.zip
mv  promtail-linux-amd64   /data/promtail/

#  prometail.yaml 配置文件
[root@harbor promtail]# cat promtail.yaml 
server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.ymal

clients:
  - url: http://172.16.230.84:3100/loki/api/v1/push

scrape_configs:
  - job_name: tomcat
    static_configs:
      - targets:
          - 172.16.230.84
        labels:
          job: tomcat
          host: 172.16.230.84
          __path__: /data/tomcat/logs/*

啟動

nohup  ./promtail  -config.file=/data/prometail/promtail.yaml &

 

六 安裝grafana

rpm -ivh  /data/tools/grafana-7.1.0-1.x86_64.rpm 

啟動

systemctl daemon-reload
systemctl start grafana-server
systemctl status grafana-server

 

七 grafana 使用

1. grafana 添加數據源

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

原文鏈接：https://blog.csdn.net/qq_40236138/java/article/details/107230640

https://grafana.com/blog/2018/12/12/loki-prometheus-inspired-open-source-logging-for-cloud-natives/

https://github.com/grafana/loki/blob/master/docs/clients/promtail/configuration.md

https://github.com/grafana/loki/blob/v1.5.0/docs/clients/promtail/configuration.md

https://blog.csdn.net/z595746437/article/details/107255510