Splunk的索引器通過內部事件化處理機制,將傳入的數據轉換為事件,然后將其存儲在索引內部的數據桶中。
索引器
索引器是用於創建和管理索引的組件,是Splunk數據存儲的核心。
索引器的主要功能是:
1.為傳入的數據創建索引。
2.搜索索引數據。
事件化處理
Splunk會對傳入的數據進行事件化處理,將原始數據以各種不同的方式進行增強處理后,轉換為事件存入索引中。
具體處理方式包括:
1.將數據流分為單個可搜索事件。
2.創建或標識時間戳。
3.提取字段,如主機、數據來源和來源類型。
4.對傳⼊數據執⾏⽤戶定義的操作,如標識⾃定義字段、以掩碼顯⽰敏感數據、編寫新鍵或修改的鍵、
--對多⾏事件應⽤換⾏規則、篩選出不需要的事件以及將事件路由到指定索引或服務器。
索引
索引器為您的數據創建索引時,會創建許多⽂件:
1.壓縮形式的原始數據(原始數據⽇志)
2.指向原始數據的索引(tsidx⽂件)
3.其他⼀些元數據⽂件
索引中的目錄被稱為數據桶,數據在進入索引后,會經歷 熱->溫->冷->凍結 數據桶的類型轉換過程,
其中:
熱數據桶:為正在寫入信息的數據桶,可以搜索,不能備份。
溫數據桶:從熱數據桶滾動來的數據,索引不會主動寫入數據,可以搜索,可以備份。
冷數據桶:從溫數據桶滾動來的數據,可以搜索,可以備份。
凍結數據桶:從冷數據桶滾動來的數據,不能搜索,默認刪除,但可以通過修改配置來改為歸檔,隨后通過解凍操作來重新讀取其數據。