日志收集流程
對於日志收集的客戶端，其work pipeline通常包括三個過程：Input，Process，Output。
- Input： 適配各類日志接入源，目前Logtail支持文本文件、Syslog（TCP流式）兩種形式數據寫入。
- Process：自定義日志處理邏輯，常見的有：日志切分、日志編碼轉換、日志結構化解析、日志過濾等等。
- Output：定義日志輸出，例如Logtail以HTTP協議寫數據到日志服務。
今天要介紹Logtail在日志處理階段的兩個新功能：轉碼、過濾。
日志轉碼
日志服務限制數據的字符編碼為UTF-8，這也是Logtail在發送數據階段對於字符編碼的要求。
但可能一些較老的應用組件在處理中文的時候，會打印GBK編碼的數據到日志文件。
這種情況下，你可以在Logtail配置的高級選項中，選擇日志文件編碼為”GBK“。那么，Logtail在采集日志時，會對日志內容先做GBK到UTF-8的編碼轉換，再進行后續處理。
Logtail目前支可以支持UTF-8和GBK兩種文件編碼格式。對於GBK格式，Logtail使用Linux系統的iconv API，編碼轉換過程中會額外消耗機器計算資源。
問：如何判斷我的GBK日志文件是否可以通過Logtail收集？
答：在Linux Shell下使用iconv命令進行轉碼測試，假設日志文件名為gbk.log，執行命令：
iconv -f GBK -t UTF-8 gbk.log -o gbk_to_utf8.log
如果執行成功則說明文件編碼是GBK；如執行失敗（類似iconv: illegal input sequence at position 2743錯誤），則說明文件不是合法的GBK編碼，無法通過Logtail做編碼轉換，請嘗試調整應用輸出的日志文件編碼格式為UTF-8。
日志過濾
舉一個web服務器的例子，Nginx每時每刻接收大量請求，並在access.log記錄這些請求：
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "HEAD sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 200 37 "-" "aliyun-sdk-java" 13605 10.200.98.220 - - [25/May/2016:14:55:42 +0800] "POST sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 404 37 "-" "ali-log-logtail" 13608 10.200.98.220 - - [25/May/2016:14:55:42 +0800] "PUT sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 401 37 "-" "aliyun-sdk-java" 13609 10.200.98.220 - - [25/May/2016:14:55:42 +0800] "PUT sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 502 37 "-" "aliyun-sdk-java" 13610 10.200.98.220 - - [25/May/2016:14:55:42 +0800] "GET sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 401 37 "-" "cpp-sdk-0.6" 13612 10.200.98.220 - - [25/May/2016:14:55:42 +0800] "PUT sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 400 37 "-" "cpp-sdk-0.6" 13614 10.200.98.220 - - [25/May/2016:14:55:42 +0800] "POST sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 400 37 "-" "ali-log-logtail" 13615 10.200.98.220 - - [25/May/2016:14:55:42 +0800] "HEAD sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 200 37 "-" "cpp-sdk-0.6" 13616對於問題調查的場景，HTTP 200請求的日志量通常是巨大的，如果我們希望降低日志存儲的成本，只上傳發生異常的請求日志，應該怎么來做呢？
在今天，你可以打開Logtail配置的高級選項，設置過濾器來解決數據過濾的問題。
如上圖所示，分別對url字段和status字段設置了兩個過濾器。指定字段Key存在且Value符合正則表達式的日志會被保留。
定義多個過濾器的時候，判斷條件是“與”的關系，滿足所有過濾器設置的日志是合法的，否則被丟棄。
對於一條日志，當url字段與"(POSTs.）|(GETs.)"匹配成功且status字段與"[345]d+"匹配成功的時候（只采集POST、GET請求且狀態碼非200的日志），Logtail將該日志上傳至日志服務，如下圖所示：
如果設置過濾器的字段名在日志里找不到，那么這條日志也是不合法的，需要被丟棄。默認情況下，用戶沒有任何過濾器設置的情況下，所有被Logtail讀取並解析成功的日志數據都會寫入日志服務。
實例配置：
只收集匹配到 topic 為 action 或者 plugin 的日志