linux的日志管理和服務項目構建

本文轉載自查看原文 2017-11-19 20:03 1141 linux運維

日志對於系統和服務安全來說非常重要，它記錄了系統每天發生的各種各樣的事情，你可以通過他來檢查並排除錯誤發生的原因，或者受到攻擊時攻擊者留下的痕跡。日志主要的功能有：審計和監測。他還可以實時的監測系統狀態，監測和追蹤侵入者等等。本篇會比較詳細的介紹有關Linux日志管理相關的基礎介紹和技巧、工具，幫助Linux系統管理員們掌握日志的使用，用好日志可以更好的進行日常的工作的處理。

日志管理rsyslog介紹

C/S架構：通過TCP或UDP協議的服務完成日志記錄傳送，將分布在不同主機的日志實現集中管理

rsyslog特性：

多線程
UDP, TCP, SSL, TLS, RELP
MySQL, PGSQL, Oracle實現日志存儲
強大的過濾器，可實現過濾記錄日志信息中任意部分
自定義輸出格式

（ELK：elasticsearch, logstash, kibana ：非關系型分布式數據庫，Elasticsearch是個開源分布式搜索引擎，功能更加強大Logstash對日志進行收集、分析，並將其存儲供以后使用，並且kibana 可以提供的日志分析友好的 Web 界面，后面會詳細介紹）

日志類型（facility）：

日志優先級（優先級由高到低，資源耗費由高到低）

程序包：rsyslog ，端口默認514

主程序：/usr/sbin/rsyslogd

配置文件：/etc/rsyslog.conf，/etc/rsyslog.d/*.conf  庫文件： /lib64/rsyslog/*.so

配置文件格式：由三部分組成

MODULES：相關模塊配置
GLOBAL DIRECTIVES：全局配置
RULES：日志記錄相關的規則配置

RULES配置格式： facility . priority; facility.priority… target

facility：

*: 所有的 facility
facility1,facility2,facility3,...：指定的facility列表

priority：

*：所有級別
none：沒有級別，即不記錄
PRIORITY：指定級別（含）以上的所有級別
=PRIORITY：僅記錄指定級別的日志信息

target：文件路徑：通常在/var/log/

文件路徑前的"-"表示異步寫入
user(如root heiye)：將日志事件通知給指定的用戶
* 表示登錄的所有用戶
日志服務器：@host，把日志送往至指定的遠程服務器記錄(udp),@@表示tcp協議傳輸
管道： | COMMAND，轉發給其它命令處理

配置rsyslog成為日志服務器

#### MODULES ####

#Provides UDP syslog reception

$ModLoad imudp

$UDPServerRun 514

# Provides TCP syslog reception

$ModLoad imtcp

$InputTCPServerRun 514 （打開模塊注釋即可啟用）

其它的日志文件

/var/log/secure：系統安裝日志，文本格式，應周期性分析
/var/log/btmp：當前系統上，用戶的失敗嘗試登錄相關的日志信息，二進制格式，lastb命令進行查看
/var/log/wtmp：當前系統上，用戶正常登錄系統的相關日志信息，二進制格式，last命令可以查看
/var/log/lastlog:每一個用戶最近一次的登錄信息，二進制格式，lastlog命令可以查看
/var/log/dmesg：系統引導過程中的日志信息，文本格式文本,可用查看工具查看或專用命令dmesg查看
/var/log/messages ：系統中大部分的信息
/var/log/anaconda : anaconda的日志

Systemd 統一管理所有 Unit 的啟動日志。只用journalctl一個命令查看所有日志（內核日志和應用日志）。配置文件/etc/systemd/journald.conf

journalctl用法

查看所有日志（默認情況下 ，只保存本次啟動的日志） journalctl 查看內核日志（不顯示應用日志） journalctl -k 查看系統本次啟動的日志 journalctl -b journalctl -b -0 查看上一次啟動的日志（需更改設置） journalctl -b -1 查看指定時間的日志 journalctl --since="2017-10-30 18:10:30" journalctl --since "20 min ago" journalctl --since yesterday journalctl --since "2017-01-10" --until "2017-01-11 03:00" journalctl --since 09:00 --until "1 hour ago" 顯示尾部的最新10行日志 journalctl -n 顯示尾部指定行數的日志 journalctl -n 20 實時滾動顯示最新日志 journalctl -f 查看指定服務的日志 journalctl /usr/lib/systemd/systemd 查看指定進程的日志 journalctl _PID=1 查看某個路徑的腳本的日志 journalctl /usr/bin/bash 查看指定用戶的日志 journalctl _UID=33 --since today 查看某個 Unit 的日志 journalctl -u nginx.service journalctl -u nginx.service --since today 實時滾動顯示某個 Unit 的最新日志 journalctl -u nginx.service -f 合並顯示多個 Unit 的日志 journalctl -u nginx.service -u php-fpm.service --since today 13 日志管理journalctl 查看指定優先級（及其以上級別）的日志，共有8級 0: emerg 1: alert 2: crit 3: err 4: warning 5: notice 6: info 7: debug journalctl -p err -b 日志默認分頁輸出，--no-pager 改為正常的標准輸出 journalctl --no-pager 以 JSON 格式（單行）輸出 journalctl -b -u nginx.service -o json 以 JSON 格式（多行）輸出，可讀性更好 journalctl -b -u nginx.serviceqq -o json-pretty 顯示日志占據的硬盤空間 journalctl --disk-usage 指定日志文件占據的最大空間 journalctl --vacuum-size=1G 指定日志文件保存多久 journalctl --vacuum-time=1years