信管知識梳理（二）常規信息系統集成技術（網絡協議、網絡存儲技術、網絡工程、數據倉庫和中間件）

一、網絡標准與網絡協議

1.1 OSI 網絡七層架構

國際標准化組織（ISO）提出的網絡體系結構模型，也叫做開發系統互連參考模型（OSI/RM）,通常叫做OSI參考模型。如下圖所示：

• 物理層、數據鏈路層、網絡層：統稱為通信子網。是為了聯網而附加的通信設備完成數據的傳輸功能。

• 應用層、表示層、會話層：統稱為資源子網。相當於計算機系統，完成數據的處理功能

• 傳輸層：承上啟下通信子網和資源子網

各層從下到上具體內容如下：

層	功能描述	數據單位	典型協議和標准
物理層	物理的連接網絡媒介	比特（bit）	EIA-232C、EIA/TIA RS-449、RJ-45、FDDI
數據鏈路層	控制網絡層與物理層之間的通信	幀	SDLC（同步數據鏈路控制）、HDLC（高級數據鏈路控制）、PPP（點對點協議）、STP（生成樹協議）和幀中繼、IEEE802、ATM
網絡層	將網絡地址翻譯層對應的物理地址	數據報	IP、IPX（互聯網數據報交換協議）、ICMP（控制報文協議）、IGMP（網絡組管理協議）、ARP（地址轉換協議）、RARP、OSPF
傳輸層	負責確保數據可靠傳輸	數據段	TCP、UDP、SPX（序列分組交換協議）
會話層	建立和維持通信		RPC（遠程過程調用）
表示層	應用程序和網絡之間的翻譯官		JPEG、ASCII、HTML等
應用層	負責對軟件提供接口以使程序能使用網絡服務		Telnet、FTP、HTTP

1.2 TCP/IP 模型

TCP/IP 模型由於得到廣泛應用而成為實際上的國際標准。模型從低到高一次為網絡接口層、網際層、傳輸層和應用層。兩個模型對比如下圖所示：

TCP/IP 模型的具體內容如下表所示：

層	描述	任務	協議
應用層	提供系統與用戶的接口	1.文件傳輸 2.訪問和管理 3.電子郵件服務	FTP、SMTP、POP3、HTTP
傳輸層	負責主機中兩個進程之間的通信	1.為端到端連接提供可靠的傳輸服務 2.為端到端連接提供流量控制、差錯控制、服務質量等管理服務	TCP、UDP、ARQ
網絡層	將傳輸層傳下來的報文段封裝成分組;選擇適當的路由，使傳輸層傳下來的分組能夠交付到目的主機	1.為傳輸層提供服務 2.組包和拆包 3.路由選擇 4.擁塞控制	ICMP、ARP、RARP、IP、IGMP
數據鏈路層	將網絡層傳下來的IP數據包組裝成幀	1.鏈路連接的建立、拆除、分離 2.幀定界和幀同步 3.差錯檢測	PPP、HDLC
物理層	透明地傳輸比特流	為數據端設備提供傳輸數據通路	RJ-45、FDDI等

1.3 網絡設備

每個層都有其對應的實現硬件，如下表所示：

網絡設備	工作層次	主要功能
中繼器	物理層	對接收到的信號進行再生和發送，只起到擴展傳輸距離用
集線器	物理層	多端口中繼器
網橋	數據鏈路層	連接相同MAC層的網絡，根據幀物理地址進行網絡之間的信息轉發。
交換機	數據鏈路層	多端口網橋
路由器	網絡層	連接相同網絡層協議的子網，通過邏輯地址進行網絡之間的信息轉發
網關	網絡層以上	在網絡層以上實現網絡互連，引用於兩個高層協議不同的網絡連接

1.4 常見的協議及標准

1. IP 協議：網絡層的核心協議，在源地址和目的地址間傳送一個數據包，此外還提供對數據大小的重新組裝功能，適應不同網絡對包大小的要求。

2. ICMP(Internet Control Message Protocol)：Internet 控制報文協議，用在IP主機、路由器之間傳遞控制消息（指網絡、主機、路由等是否可達的網絡本身消息）

3. ARP(Address Resolution Protocol)：地址解析協議，根據IP地址獲取物理地址

4. RARP(Reverse Address Resolution Protocol)：反向地址轉換協議，通過物理地址獲取IP地址

5. TCP(Transmission Control Protocol)：傳輸控制協議，面向連接、可靠的、基於字節流的傳輸層通信協議

6. UDP(User Datagram Protocol)：用戶數據報協議，無連接的處理數據報

7. FTP(File Transfer Protocol)：文件傳輸協議，用於Internet 上的控制文件的雙向傳輸

8. TFTP(Trivial File Transfer Protocol)：相對於FTP而言，它提供不復雜、開銷不大的文件傳輸服務

9. Telent：它是Internet 遠程登錄服務的標准協議和主要方式。為用戶提供了在本地計算機上完成遠程主機工作的能力。

10. DNS(Domain Name System,)：域名系統。域名和IP地址相互映射的一個分布式數據庫

11. SMTP(Simple Mail Transfer Protocol)：簡單郵件傳輸協議，控制信件的中轉方式，幫助每台計算機在發送或中轉信件時找到下一個目的地。

12. SNMP：簡單網絡管理協議，該協議能夠支持網絡管理系統，用以檢測連接到網絡上的設備是否有任何引起管理上關注的情況。

13. DHCP(Dynamic Host Configuration Protocol)：動態主機配置協議，建立在UDP之上，動態分配IP 地址

14. 以太網規范 IEEE802.3局域網協議：

• IEEE 802.3 標准以太網 10Mb/s 傳輸介質為細同軸電纜

• IEEE 802.3U 快速以太網 100Mb/s 雙絞線

• IEEE 802.3Z 千兆以太網 1000Mb/s 光纖或雙絞線

• IEEE 802.3ae 萬兆以太網 10Gb/s 光纖

• IEEE 802.11 無線局域網WLAN技術標准

15. 廣域網協議：

• PPP點對點協議

• ISDN綜合業務數字王

• xDSL（包括HDSL、SDSL、ADSL、MVL）

• DDN數字專線

• x.25

• FR幀中繼

• ATM 異步傳輸模式

二、網絡存儲技術

主流的網絡存儲技術重要有三種：分別是直接附加存儲（DAS）、網絡附加存儲（NAS）和存儲區域網絡（SAN）

• DAS（Direct-Attached Storage）:

  存儲設備直接通過SCSI(小型計算機系統接口)、FC(網狀通道技術)連接到應用服務器上，此時存儲設備是整個服務器結構的一部分

• NAS（Network-Attached Storage）

  存儲設備通過光纖交換機連接服務器，建立專用數據存儲的存儲私網。有專用的文件服務器，支持即插即用。

• SAN（Storage Area Network）

  通過各種網絡技術（TCP/IP、ATM、FDDI）將存儲系統和服務器進行連接來建立存儲私網。直接通過以太網和塊（block）級別存儲。

三、網絡規划、設計與實施

網絡工程主要可以分為網絡規划、網絡設計和網絡實施三個大階段。我們主要談前兩個階段。

• 網絡規划包括網絡的需求分析、可行性分析和對現有網絡的分析與描述；

• 網絡設計主要包括確定網絡總體目標和設計原則;

3.1 網絡分層設計模型

在分層設計中，主要有三個關鍵層，分別是核心層、匯聚層和接入層

• 接入層：這一層指的是直接面向用戶連接或者訪問網絡的部分，目的是允許終端用戶連接到網絡中。

• 匯聚層：是位於接入層和核心層的部分，這個部分完成網絡訪問策略控制、數據爆出里、過濾、尋址，以及其他數據處理任務。需要更高的性能，更少的接口和更高的交換速率（存在與否取決於網絡規模大小）

• 核心層：主要目的在於通過高速轉發通信，提供優化、可靠的骨干傳輸結構，因此，核心層交換機應擁有更高的可靠性，性能和吞吐量。（設計時考慮網絡規模大小 、傳輸信息的種類和可投入的資金因素）

3.2 網絡系統的設計階段

設計工作主要包括：

1. 網絡拓撲結構設計

2. 主干網絡設計

3. 匯聚層和接入層設計

4. 廣域網連接與遠程訪問設計

5. 無線網絡設計

6. 網絡安全設計

7. 設備選型

3.2.1 廣域網連接與遠程訪問設計

1. 如果網絡用戶沒有WWW、E-mail等具有Internet 功能的服務器，用戶可以采用ISDN或者ADSL等技術連接外網

2. 若用戶有Internet功能的服務器，用戶可采用DDN 專線連接、ATM交換以及永久虛電路連接外網

3.2.2 無線網絡設計

無線網絡是為了解決優先網絡無法克服的困難，如很難布線或者經常需要變動布線結構的地方。

3.3 綜合布線系統（網絡實施）

如上圖所示，主要有這樣幾個子系統：

1. 建築群子系統：實現建築物之間的相互連接，介質通常是光纜

2. 垂直干線子系統：連接管理間子系統到設備間子系統，使用光纜或者UTP

3. 水平配線子系統：實現信息插座和管理子系統的連接

4. 設備間子系統：主要由設備中的電纜、連接器和相關支撐設備組成，與公共系統設備相連

5. 管理子系統：為連接其他子系統提供連接手段，由配線架、HUB和機櫃、電源等組成

6. 工作區子系統：由終端設備連接到信息插座的連線組成。包括連接器和適配器

四、數據倉庫技術

為什么每個信息系統中已經存在數據庫，為啥還要提出數據倉庫呢？這就要說說數據倉庫的由來了，隨着數據庫業務數據量指數級的增長，管理層需要對數據庫的數據進行整體分析，而這個時候這種數據很難從原有數據庫中分析提取出來，所以需要設計一個專門面向分析用的數據庫，而這就是數據倉庫（Data Warehouse）。

4.1 數據倉庫概念

數據倉庫（Data Warehouse）是個面向主題、集成的、非易失性的、且隨時間變化的數據集合，主要用於支持管理決策。數據庫用於事務處理，數據倉庫是數據資源池，主要用於挖掘數據價值做分析決策。

數據倉庫實際上是數據庫概念的升級，與數據庫主要有以下區別：

• 面向主題：業務型數據庫是為了支撐各種業務建立的，而分析型數據庫則是為了對各種繁雜業務中抽象出來的分析主題（比如用戶、成本、商品）進行分析而建立的

• 集成性：指數據倉庫會將不同源數據庫中的數據匯總到一起

• 相對穩定（非易失）：業務型數據庫的數據通常是實時更新的。而數據倉庫中的數據主要是提供企業決策分析之用，所涉及的數據操作主要是數據查詢，通常只需要定期加載、刷新等操作

• 反映歷史變化：業務型數據庫主要關心當前某一個時間段內的數據，而數據倉庫中的數據通常包含企業從過去某一時刻到當前各個階段的信息，相對來說跨度比較長。

4.2 數據倉庫結構

如上圖所示，數據倉庫通常包含4個層次，分別是數據源、數據存儲、OLAP引擎和前端工具

4.2.1 數據源

數據源包括企業內部和外部各種數據庫，這些源數據庫既為業務系統提供數據支撐，同時也作為數據倉庫的數據源

4.2.2 數據存儲

數據存儲中也包括數據的管理，ETL分別代表提取(extraction)、轉換(transformation)和加載(load)。針對現有各業務系統的數據通過ETL按主題進行組織，也就是一個個主題的數據集市。數據集市分為兩種，一種是獨立數據集市(independent data mart)，這類數據集市有自己的源數據庫和ETL架構；另一種是非獨立數據集市(dependent data mart)，這種數據集市沒有自己的源系統，它的數據來自於數據倉庫。

4.2.3 OLAP服務引擎

OLAP(On-Line Analytical Processiong)聯機分析處理，指對分析需要的數據進行有效集成，按照多維模型組織，以便進行多角度、多層次的分析，並發現其中的趨勢。

4.2.4 前端工具

主要包括各種報表工具、查詢工具、數據分析工具、數據挖掘工具等應用開發工具。其中的數據分析工具主要針對於OLAP服務器，報表工具和數據挖掘工具主要針對數據倉庫。

五、數據挖掘

數據挖掘（Knowlegdg Discovery in Database）指利用統計學、數學和人工智能技術等在大量數據中發現並提取有效信息和相關知識的過程。核心技術主要包括分類、聚類、預測和關聯分析等任務。通過這些方式，我們可以從數據倉庫中得到想要的數據，比如商業報告等。

六、商業智能

商業智能（Business Intelligence）基本包括三個部分：數據倉庫、聯機分析處理（OLAP）和數據挖掘。

商業智能系統應具有的主要功能：

• 數據倉庫

• 數據ETL：要求能自動地根據描述或者規則進行數據查找和理解

• 數據統計輸出（報表）：報表能快速地完成數據統計的設計和展示

• 分析功能：可以通過業務規則形成分析內容，並且展示樣式豐富，具有一定的交互要求

七、中間件技術

7.1 中間件概念

中間件是介於應用系統和系統軟件之間的一類軟件，比如 JVM。同時中間件也是一種獨立的系統軟件或服務程序，分布式應用軟件借助這種軟件在不同的技術之間共享資源。中間件位於客戶機服務器的操作系統之上，管理計算資源和網絡通信。

7.2 中間件類型

按照中間件的層次上來划分，主要有底層型、通用型和集成型三個層次：

7.2.1 底層型中間件

主流的有 JVM（Java 虛擬機）、CLR（微軟公共語言運行庫）、JDBC（數據庫連接）和 OOBC（開放數據庫互連）

7.2.2 通用型中間件

主流的有CORBA（公共對象請求代理體系結構，底層傳輸層集成）、J2EE（不同硬件和操作系統集成）、MOM（面向消息的中間件）和COM等等，代表產品主要有WebLogic和IBM MQSeries等。

7.2.3 集成型中間件

主流的有 WorkFlow 和 EAI（企業應用集成）等，代表產品主要有 BEA WebLogic 和 IBM WebSphere等等。

因此對於不同層次的集成，可以對應采用不同的技術和產品：

• 為了完成系統底層傳輸層的集成，可以采用CORBA技術

• 為了完成不同系統的消息傳遞，可以采用消息中間件產品

• 為了完成不同硬件和操作系統的集成，可以采用J2EE中間件產品

參考資料

第一篇：數據倉庫概述 - 穆晨 - 博客園 (cnblogs.com)

數據分析、數據挖掘、商業智能之間的關系 - 知乎 (zhihu.com)