單擊返回：自學N-Compass之路
nCompass-網絡流量基礎知識及數據源
1. 流量分析基礎知識
1.1 常見的流量分析方式：
- SNMP： 網管平台通過主動式獲取設備接口流量信息。
- Flow：網絡設備將穿越的數據流信息精簡壓縮打包。
- 日志：有些設備支持基於業務訪問內容生成詳細的交互信息。
- 原包：通常是交換機將穿越的數據包1：1的復制到一個新的物理端口發送至分析平台，然后分析平台進行拆解分析出指標。
SNMP ：
網管平台以主動獲取MIB-ID的方式讀取設備接口硬件級信息，包含接口命名/速率/帶寬/流入流出包數/流入流出吞吐量等。
優點： 運維人員最常用的流量分析方式，技術成熟
缺點：
- 數據精細化顆粒度較差，獲取到的數值為最近5分鍾平均值；
- 高頻主動式獲取可能會對地段設備性能消耗較大，業界內通常采用每5分鍾或每1分鍾讀取一次；
- 分析內容極少，有效信息僅包含接口實時吞吐量，無法看到明細通訊對。
Flow（NetStream、NetFlow和sFlow）
Flow技術基於“流”提供報文統計功能，可以對網絡設備的每個端口上出入方向的流量進行采樣，對采樣到的報文依據報文中的關鍵值（例如五元組等）對網絡中的流量進行分類統計。
優點：輕量級
缺點：
- 采樣比原因可能會導致數據准確性較差；
- 有效的分析內容較少，僅包含基本的五元組信息；
- 傳輸可能會消耗帶寬。
日志：
優點：輕量級
缺點：
- 傳輸可能會占用業務帶寬（有的日志內容只能從業務端口發出，不能出帶外端口發出）；
- 內容精細程度和各設備廠商所支持的分析程度有關。
原包（第一種：流量鏡像）：
優點：
- 非入侵式旁路部署，不會對現網架構造成影響，隔離且獨立的網絡架構；
- 高密度鏡像端口集中化管理；
- 良好的可擴展性。
缺點： 可能會對設備處理性能造成極微影響，
原包（第二種：分光器）：
優點：
- 不會對網絡設備的性能造成任何影響；
- 高密度鏡像端口集中化管理；
- 良好的可擴展性；
- 分光器為無源設備，異常時會自動bypass，對業務影響幾乎為零。
缺點： 初次上線分光器會中斷業務。
1.2 nCompass采集口
- 電口：通用千兆電口模塊。
- 光口：SFP 850nm LC多模模塊，支持千/萬兆。
- 注意，對端設備模塊要求必須類型一致。
1.3 流量規划
- 監控節點：同一台設備的同一個物理接口才是一個監控節點。（同一台設備的不同物理接口不能當做一個監控節點。）
- 避免問題：非同一條數據流無法重組。（安全類設備隨機回話序列號）
- 建議鏡像方式：統一監控節點both雙向鏡像。
- 如何判定數據是同一監控節點？ 通過一條數據流里面兩個方向的數據（服務端到客戶端，客戶端到服務端），查看源目MAC是否是一對。
- 關鍵設備重點監控：例如串接的負載、WAF、代理設備、行為管理、防火牆、防水牆、防毒牆。（需分別監控交換機、入關鍵設備、出關鍵設備接口，盡可能的避免交換機異常導致故障定位分析的錯誤。）
1.4 監控原則
- 關鍵性：需監控所有4層設備（對數據包具有處理功能的設備，防火牆、負載等）前后端節點；交換機只對數據進行快速轉發，通常場景下不會對數據進行處理，不監控交換機的前后端。
- 全面性：針對各關鍵業務系統架構特點合理部署監控節點，盡可能監控業務流上的每個關鍵節點。
- 准確性：交換機鏡像出的流量盡可能的純凈，應避免出現單向流量或重復流量，以減輕設備性能壓力。
- 唯一性：若兩個監控點的流量重復，需借助TAP流量匯聚設備分別打上不同的VLAN標簽或將以上兩個節點的流量分配給不同的設備物理接口分析。
- 均衡性：針對各區域數據量特點合理分配設備接口及處理性能，做到壓力分攤，以保證數據的准確性。例如，東西向數據交互量大、南北向IP通訊對量大等。
- 分壓性：根據數據中心網絡內部區域明細划分原則，大流量的不同區域盡可能使用不同的探針進行監控，以降低運維復雜度。
- 擴展性：設備的部署應考慮峰值流量以及未來一段時間內業務增長蹴球，避免輸入到設備的流量
- 超出設備的實際處理能力。
1.5 nCompass的重要概念
“我的網絡”：
nCompass流量分析平台是旁路設備，不像是串接的網絡設備，很難去判定數據的流入/流出的方向，所以引入“我的網絡”的概念。 進入“我的網絡”流量為流入，離開“我的網絡”流量為流出。
哪些地址段需要定義為“我的網絡”：
- 公網對外提供服務地址
- 數據中心內部私有地址
- 外聯第三方單位對外體用服務地址
“時間戳”：
nCompass平台會對收到的每個數據包打上nm級時間戳，准確定為100%。
不建議使用TAP設備打時間戳。
如何定義分支站點？
分支站點定義存在一個很大的誤區，如何准確的定義分支站點？
網絡工程師可能會對此產生誤解，專線的互聯地址也就是網絡設備的接口地址不應該定義為站點，因為在訪問的實際交互過程中，例如一台上海的終端192.21.0.1訪問的目的肯定真實的業務IP，而不是網絡設備的接口，原始流量中看到的源目IP也是一樣。
2. nCompass數據源
2.1 數據源的幾個概念
- 數據模型：nCompass平台的數據分類方式。數據模型之間可以通過共同的維度實現關聯。
- 維度：是指流量分析里的分析對象，比如鏈路、IP、通訊對、省份、運營商、MAC、Vlan、租戶、VXlan等等
- 指標：對分析對象的行為、狀態、數量進行聚類、統計得到的結果。
維度和指標的區別：
- 指標隨着時間變化、維度不隨時間變化
- 指標有單位，維度沒有單位
- 指標大多是數值，維度大多是名稱
- 時間是特殊的維度
2.2 數據源的使用步驟
- 選擇數據模型
- 選擇維度
- 選擇指標
- 過濾維度
- 篩選指標
2.3 常用的數據模型
- TCPIP：最常見的模型，包括OSI參考模型1-4層的維度：包括數量、延時、大小、成功失敗等種指標。
- HTTP：專門分析HTTP協議的模型，包括域名、URL、useragent等各種維度：包括，延時、返回碼的統計。
- HTTPS：專門FenixSSL握手的協議。
- Oracle、DB2、SQLserver：各種數據庫模型。
- NetFlow：專門分析Flow的模型，包括netflow、Netstream、sflow等。
- ICMP模型：專門分析ICMP差錯報文的模型。
- 撥測：主動撥測的模型。
2.4 數據源的使用（數據表格的方式）
數據回溯（里面有各種數據表格）
2.4.1 具體看一下“接口”數據表格：
維度：探針接口
指標： 總吞吐量、流量吞吐量、流出吞吐量、丟包率、網絡時延、建連請求數、新建回話數、建連失敗數。
如果想知道這個接口里面各個通訊對的情況？
接口右鍵---“添加維度”
- 應用： 應用、應用組、域名、URL
- 站點：站點、站點組、客戶端站點、服務端站點、客戶端站點組、服務端站點組
- IP：IP、服務端IP、客戶端IP、IP通訊對、服務端口、客戶端端口、服務端IP端口、XFF-IP
- 采集點：
- 其他：
現在看一下常用的，在這個探針接口下面的 ” 服務端IP、客戶端IP、服務端口” ， 還可以進行排序。
右上角可以單獨 “修改維度” “修改指標” 。
“修改指標” 內具體內容：
2.4.2 具體看一下“服務端口”數據表格（數據中心有哪些服務端口）：
如何具體看都有哪些服務器使用了 80 端口：
如何看一台服務器對外提供了哪些端口服務呢？
此時可以把“服務端IP”也添加進來
2.5 Dashboard 數據源的使用
新建一個Dashboard --- 圖表區
那么如果想知道曲線上面某一時間點的具體內容是什么？ 可以新建一個表格區
此時可以講“接口流量”的圖標區 和 “TopN通訊對”的表格區 做關聯 。
如果當你看到IP通訊對之后， 想進一步只看某一個客戶端IP訪問的所有服務器端IP端口，如何查看？
復制一份表格粘貼在表格區------再原表格右鍵關聯-----
關聯的時候把“服務器IP”“服務端口” 去掉， 意思就是當從表格“Top N通訊對”復制到關聯表格“客戶端訪問的所有IP端口”時，會忽略“服務器IP”“服務端口” 。
以上為列出所有客戶端IP為172.19.16.14訪問的所有ip端口。
以上為列出所有客戶端IP為172.16.104.8訪問的所有ip端口。