最全FC交換機基礎知識詳解

      談起FC交換機，大家就會想到它是數據中心貴族的象征，也是保證核心業務性能和可靠性的技術基石，但近年來，隨着數據中心軟件定義，IP化潮流的推進，FC交換機的市場份額有所收縮，但截至目前為止，FC技術仍然占據數據中心核心業務的半壁江山，今天詳細聊聊FC交換機基礎知識。

 

      博科是FC交換機領域的領導者，其交換機被不同存儲和服務器廠商OEM，下圖是主流存儲廠商OEM詳情對位標:

 

 

      先從NPIV談起，當物理主機上部署了虛擬機后，若采用原來的物理主機訪問存儲的方式，映射給主機的LUN是所有虛擬機可見的，安全性和可管理性都降低，同時也無法滿足各個虛擬機自身直接訪問存儲。

  

      NPIV就是為了解決這一問題而產生的。NPIV是N_Port ID Virtualization，是一項虛擬化技術，ANSI標准。當主機端應用了NPIV后，主機可以在一個物理HBA卡上虛擬出多個虛擬HBA卡，每個虛擬機都分配一個自己的虛擬HBA卡，虛擬機通過虛擬HBA訪問存儲設備，每個虛擬機都只能看見自己的磁盤資源，不同虛擬機間的磁盤資源相互不可見。

 

交換機端口NPIV

 

      為了實現上述的功能，只有主機端支持NPIV還不夠，交換機也要支持NPIV才可以。博科光纖交換機全部支持NPIV功能，各個交換機的端口的NPIV功能默認是開啟的，可以通過如下的方式查看:

 

      在命令回顯里面，如果NPIV capability屬性為“ON”則表明該端口已經開啟了NPIV功能。如果為“OFF”則表明該端口關閉了NPIV。

 

Zone的概念和作用

 

       SAN網絡中一個常用的概念叫做zone，zone在SAN網絡中的作用和以太網絡中的VLAN有些類似。Zone的主要作用就是把Fabric網絡分區，避免不相關的設備之前相互訪問，同時也具有安全的作用。在設備較多的Fabric網絡中，務必要划分zone。

 

      一個zone由一組zone成員組成，一個設備可以是一個或多個zone的成員，如設備RAID4既是Zone2的成員也是Zone3的成員。同一個zone內的成員之間可以相互訪問，不在同一個zone內的成員之間不可訪問。如Zone1包括成員Web Server和RAID2，這兩個設備之間可以相互訪問。Fabric網絡的zone配置有兩層概念:

 

• 第一層是zone，zone內的成員由連接到Fabric上的設備組成

• 第二層是zone集合，它由一個或多個zone組成，在一個Fabric網絡中，可以創建一個或多個zone集合，但同一時間只能有一個處於激活狀態的zone集合。

 

 

Zone的種類

 

      博科交換機支持多種zone，常規zone和特殊zone。常規zone就是我們通常所說的zone，主要作用是隔離設備，把Fabric網絡划分為多個分區；特殊zone有TI zone，QoS zone和LSAN zone。若非特殊說明，此處所提的zone全部是常規zone。常規zone按照所包含的成員類型不同，可以分為端口zone，WWN zone和混合zone。

 

      端口zone：zone的成員全部是交換機端口，每個端口由Domain ID和Port Index二元組唯一確定。這種zone的優點在於和交換機連接的設備更換后不用重新划分zone，但是設備更換和交換機連接的端口后需要重新划分zone，即端口zone是和位置相關的。如：zone01：（1,1；1,2；1,3）。

 

• 優點：創建簡單，易懂，適合用於連接設備不太多的SAN網絡交換機

• 缺點：設備更換到其他端口后無法和原來zone內的成員相互通信，和位置相關，在大型SAN網絡中不方便管理。

 

      WWN Zone：zone的成員全部是設備的WWN，WWN可以是設備節點WWN，也可以是設備端口WWN（WWPN），常用的是以WWPN來創建zone。這種zone的優點在於設備更換和交換機連接的端口后后不用重新划分zone，但是設備端更換HBA后需要重新划分zone，即WWN zone是和設備相關的。如：zone02：(20:12:00:22:a1:09:8e:67;10:00:00:00:c9:d5:bd:2e)。

 

• 優點：設備換插到交換機的其他端口后仍舊可以和原來的zone內的成員通信，不許要重新划分zone。

• 缺點：相對於端口的方式，以WWN創建zone稍微復雜一些，需要弄清各個設備的WWN。設備端更換HBA或接口卡后，由於WWN發生了改變，需要重新划分zone

 

      混合zone的組成：zone的成員既包含交換機端口，也包含設備WWN。這種方式由於存在管理上的不便，同時設備之間通信時需要CPU的參與，可能會影響性能。所以規划zone時，盡量不要使用這種方式。如zone03：( 20: 12: 00 :22:a1:09:8e:55;1,4;15)。混合zone不是規范的zone，在實際應用中盡量不要按照這種方式創建zone。 

  

交換機長距離

 

• 1、 L0:  端口為L0時為正常模式，該模式下交換機端口可以是F_Port、L_Port、E_Port。支持的設備的距離(2Gb最大5km，4Gb最大2km，8Gb最大1km)。

• 2、 LE: 端口為LE模式時該端口只能配置為E_Port，用來連接其他交換機。該模式下交換機間的距離可達10km。

• 3、 LD: LD模式為動態自適應模式，根據用戶設定的距離以及系統檢測到的實際距離，取二者的最小值分配buffer。該模式下可以支持超過10km的距離，最大支持距離取決於交換機所能分配的Buffer數量。

• 4、 LS: LS為靜態長距離模式，該模式和LD類似，都支持超過10km的距離.不同之處在於LS預留Buffer的方式和LD不同，LS只以用戶定義的距離作為分配Buffer數量參考。

 

光纖線纜

 

      光纖作為一種傳輸介質在通信應用中占有非常重要的地位。光纖按照不同的角度可以分為不同的種類，如按照材料不同可以分為石英系光纖、多組分玻璃光纖、塑料包層石英芯光纖等；按照傳輸模式不同可以分為多模光纖和單模光纖；按照波長不同可以分為短波光纖和長波光纖。我們主要介紹一下多模光纖和單模光纖。

 

      多模光纖的纖芯直徑為50或62.5μm，包層外徑125μm，標示為50/125μm或62.5/125μm。多模光纖由於色散比較大，其傳輸距離有限。多模光纖的光源一般為發光二極管。

 

      比較常用的多模光纖有OM1、OM2和OM3，目前主流的是OM3。

 

 

      單模光纖的纖芯直徑為8.3μm，包層外徑125μm，標示為8.3/125μm。單模光纖中心玻璃芯很細(芯徑一般為9或10μm)，只能傳一種模式的光。因此，其模間色散很小，適用於遠程通信。單模光纖的光源一般為固體激光器。

 

光模塊

 

      多模光模塊支持的傳輸距離近，一般在千米以內，適合園區級別的業務部署，單模光模塊支持的距離遠，可達幾十千米，適合區域級別的業務部署。短波多模光模塊搭配多模光纖支持的傳輸距離如下表所示：

 

 

      光模塊在不同速率下配套不同規格(OM1/OM2OM3)的光纖線，最大的傳輸距離是不一樣的，如8G光模塊搭配OM3多模光纖線，當速率為8G時，最遠支持150m，當速率降為4G時，最遠支持380m。

 

傳輸距離

 

      交換機端口速率有1/2/4/8/16Gbps之分，光模塊有長波短波之分，光纖線有單模多模之分，那么它們和傳輸距離之間的關系是怎么樣的呢。

 

      首先，相同速率下，單模光纖的傳輸距離比多模光纖的傳輸距離要遠，長波光模塊比短波光模塊傳輸的距離要遠。當然單模光纖線和多模光纖要配合對應光模塊使用。

 

      其次，在配置確定的情況下，如8Gbps多模光模塊配合多模光纖線，速率越低，傳輸距離越遠。如前面提到的8Gbps光模塊的最遠傳輸距離規格是500m，指的是其運行在2Gbps速率且光纖線為OM3是所能達到的最遠距離，在8Gbps速率時其最遠只能傳輸150m。

 

      最后，還有一種情況，光模塊、光纖線都可以支持到某個距離，如25km，但是實際帶寬值可能連光模塊支持的最低速率都達不到，為什么？這個就涉及到另外一個概念了，即Credit Buffer。

 

      在默認情況下，交換機的每個端口都分配一定數量的Buffer，當發送端向對端發送數據中幀時，每發送一個幀就會計一次數，當幀計數值等於其Buffer數量時，就不能繼續發送了，必須等待對方的確認信息來重新獲得發送能力。這就會產生一個問題，當設備間的距離非常遠時，發送端可能很快用完了自己的Buffer，但是幀還在鏈路上沒有到達接收端，發送端只能處於等待狀態，這極大的浪費了帶寬，從而出現了前面描述的問題。所以，Credit Buffer在遠距離通信中也是必須注意和配置的一項。

 

      在實際的應用中，要結合實際應用場景選擇對應的配置。如果選擇不當，可能會導致性能低、鏈路不穩定甚至是設備間鏈路無法建立。

 

ISL鏈路聚合

 

      ISL鏈路聚合就是ISL Trunking，把兩台交換機之間滿足一定條件的多條物理路徑合並成一條邏輯路徑的技術。交換機配置Trunking后可以擴展鏈路的總的帶寬和提高鏈路的可靠性。

 

      ISL方式級聯的交換機間的多個路徑要配置Trunking，要形成Trunking的幾個端口必須是在同一個端口組里面。所有參與Trunking的端口的配置要相同，Trunking用的多個光纖線的長度差異不要超過30米，否則會引起性能下降，超過400米就無法形成Trunking。

 

      Trunking只在博科或同類廠商的設備上被支持，博科交換機和其他廠商的交換機無法形成trunking。有無Trunking時的的區別:

 

無Trunking

 

      上圖中兩台交換機通過四條鏈路連接起來，在沒有配置Trunking的情況下，各個ISL路徑上的IO差異很大。一個主機的IO只會在同一條路徑上下發，而這個路徑上還可能有其他應用的IO，導致的結果就是一條路徑的流量形成的擁塞的時候另一條卻負載很低。

 

有Trunking

 

      多個ISL路徑形成Trunking時，這些物理路徑就合並成了一個邏輯路徑，帶寬是多個路徑的總和。當多個主機下發IO的時候，Trunking以幀為單位將流量合理的分配到了不同的路徑上，使得所有路徑都有機會參與數據傳輸。數據幀會優先在負載低的路徑上下發。

 

端口類型

 

      端口是構建光纖網絡的基本模塊，在光纖通道網絡中端口包括設備側端口、交換機側端口和配置端口。

 

      設備側端口類型：設備側端口主要指和交換機相連的終端設備的端口，端口類型包括N_Port和NL_Port。

 

• N_Port：點對點模式的端口，設備直連模式端口。

• NL_Port：仲裁環模式端口。

 

      交換機端口類型：交換機上的端口類型比較多，不同廠商支持的端口類型也不盡相同，下面列出博科光纖交換機支持的端口類型:

 

• U_Port：通用端口模式。嚴格來說U_Port並不是一種端口模式，它只是端口空閑時的一個狀態，等待端口連接設備后轉變到最終的端口模式。

• F_Port：Fabric端口模式，F_Port和N_Port可以建立連接。

• FL_Port：Fabric環路端口模式，FL_Port和NL_Port可以建立連接。該端口類型在博科Condor3 ASIC平台上不再支持。

• G_Port：Generic端口(G_Port和U_Port類似)，當端口模式顯示為G_Port時並不是該端口的最終狀態，它在待轉變為最終的F_Port或E_Port模式。

• E_Port：Expansion端口。用於和其它交換機建立互聯的端口

• D_Port：診斷端口，該模式的端口不能夠接入到Fabric網絡中，不能和其他設備通信，只用來作為診斷分析使用。博科交換機從Conder3 ASIC上才支持。

      配置端口類型：配置的端口模式是博科交換機上的一種端口模式，目前包括EX_Port、VE_Port、VEX_port幾種類型。和上面幾種交換機模式不同，這幾種模式的用處較為特殊。

 

• EX_Port：E_Port的一種特殊場景，用來連接FC Router。通過該模式連接2個不同的Fabric，可以使兩個Fabric網絡中的設備相互通信而無需合並ZONE配置。

• VE_Port：虛擬E_Port，它用於FCIP網絡中。

• VEX_Port：虛擬EX_Port，功能上和EX_Port相同，只不過是用於IP網絡。

 

設備端口工作模式

 

      端口連接設備后顯示的端口模式有如下幾種：

 

• D_Port是診斷端口模式，用於分析本地端口和遠端交換機端口之間的鏈路狀態。運行時會顯示遠端交換機的WWN。

• E_Port是級聯模式。和其他交換機上的E_Port建立連接從而擴展Fabric網絡。正常運行時會顯示連接的交換機的WWN。

• Ex_Port是路由端口模式。Ex_Port可以使不同交換機上的設備相互訪問但又無需進行zone配置融合。運行時會顯示遠端交換機的WWN。

• F_Port是點對點模式。交換機端口顯示為F_Port時表示設備已經以點對點模式和交換機建立好了連接。運行時會顯示連接的設備的WWN。

• G_Port是點對點模式。和F_Port不同，G_Port不是一個正常工作時的狀態，需要排查問題原因，如主機是否向交換機發送了Flogn，設備和交換機間的鏈路是否正常。可以嘗試重新加載設備端驅動、更換光纖線等方法解決該問題，AIX環境下可以嘗試刪除主機邏輯HBA卡后重新掃描。

• L_Port是仲裁環模式。連接的設備是NL_Port。運行時會顯示連接的設備的WWN。

• LE是長距離工作模式的一種，最大可以支持10km的距離。該端口只能用於連接交換機，不能連接主機或存儲設備。

• LD是動態自適應長距離工作模式。可以支持超過10km的距離。該端口只能用於連接交換機，不能連接主機或存儲設備。

• LS是靜態長距離工作模式。可以支持超過10km的距離。該端口只能用於連接交換機，不能連接主機或存儲設備。

 

Brocade交換機AG模式

 

      Brocade交換機的Access Gateway (AG)，是在交換機OS上實現的特性。把博科交換機設置為AG模式后，交換機將不再具備交換功能，即連接到這個交換機上的設備之間無法相互通信。

 

      AG模式下的交換機有兩種類型的端口，F_Port和N_Port，F_Port用來連接主機、存儲設備，N_Port用來連接交換機。AG模式的交換機相當於一個虛擬了多個虛擬HBA卡的物理HBA卡，AG交換機自身相當於物理HBA卡，而和其連接的主機、存儲相當於虛擬HBA。

 

AG模式的交換機連接

      以AG模式的博科交換機和QLogic交換機做例子，業務配置核心是設置博科交換機的AG模式，QLogic交換機上只需要按照常規方式創建zone就可以了，不需要做額外的配置。如果現網中使用的是其他廠商的交換機而非QLogic交換機，如博科、思科，配置方式也是類似的，只需創建zone即可。

轉自：https://blog.csdn.net/BtB5e6Nsu1g511Eg5XEg/article/details/81714026