數據存儲技術


課程大綱

判斷對錯、名詞解釋、問答、計算

數據硬件組成

  • 數據存取途徑是指從數據源到目的地數據和命令傳輸的路徑 。
  • 數源據和目的地通常是存儲器或存儲設備。
  • 介於兩端之間的物理器件便組成了存取途徑的硬件系統。

總線

  • 總線是連接設備的通信通道,包括數據總線、地址總線、控制總線(避免多個CPU操作同一塊內存)和電源線等 。
  • 系統總線:系統總線是一條致密的高速總線、連接CPU/Cache和系統內存。通過總線仲裁獲得總線使用權,然后在兩個硬件模塊間進行通信。
  • 內存總線
  • IO總線:外圍設備總線(IO總線),與系統總線橋接,由於橋控制器控制,連接外圍設備。橋接控制器中包含高速緩存,用以調節兩條總線的速度差。
  • IDE總線
  • 橋間連接總線
  • USB總線
  • PCI總線:目前台式機與服務器所普遍使用的一種南橋與外設連接的總線技術。 
  • SCSI總線

 PCI總線:

  • PCI ( Peripheral Component Interconnect)總線是目前台式機與服務器所普遍使用的一種南橋與外設連接的總線技術。
  •  PCI 總線的地址總線與數據總線是分時復用的。一方面可以節省接插件的管腳數,另一方面便於實現突發數據傳輸。
  •  在數據傳輸時,一個 PCI 設備作為發起者(主控, Initiator或 Master),而另一個 PCI 設備作為目標(從設備、 Target或 Slave)。
  •  總線上所有時序的產生與控制,都由 Master 來發起。 PCI 總線在同一時刻只能供一對設備完成傳輸,這就要求有一個仲裁機構( Arbiter),來決定誰有權力拿到總線的主控權。
  •  PCI Express ( PCIE)是INTEL提出的新一代的總線接口, PCI Express采用了目前業內流行的點對點串行連接,比起PCI以及更早期的計算機總線的共享並行架構,每個設備都有自己的專用連接,不需要向整個總線請求帶寬,而且可以把數據傳輸率提高到一個很高的頻率,達到PCI所不能提供的高帶寬 。

 總線適配器 

  • 主機總線適配器(HBA):一種將存儲設備或其它外圍設備接入I/O總線,並對存儲設備和外圍設備進行控制的硬件。
  • 因主機I/O總線的不同和接口協議的不同有多種HBA,主要包括IDE、 SCSI等。
  • IDE( Integrated Drive Electronics ) 常用的磁盤適配器。也稱之為ATA接口。 ATA的英文拼寫為“Advanced Technology Attachment” ,含義是“高級技術附加裝置”。 2003年推出SATA( Serial ATA)后,原有的ATA改名為PATA(並行高技術配置, ParallelATA)。 2013年12月29日,西部數據正式停止PATA硬盤供應,而希捷科技則已停售產多年,這意味着1986年設計的PATA接口在經歷27年后正式退出歷史舞台。
  • SCSI( Small Computer System Interface)適配器。小型計算機系統接口( SCSI, Small Computer System Interface)是一種用於計算機及其周邊設備之間(硬盤、軟驅、光驅、打印機、掃描儀等)系統級接口的獨立處理器標准。
  • 串行SCSI( SAS: Serial Attached SCSI)是由並列SCSI物理存儲接口演化而來,是由ANSI INCITST10技術委員會開發的新的存儲接口標准。與並列方式相比,串行方式提供更快速的通信傳輸速度以及更簡易的配置。 

I/O總線與網絡接口適配器 

SCSI的局限性

  • 只適用於存儲子系統與主機的連接,單一點對點,且有距離限制 。

網絡存儲

  可以實現距離延伸、數據共享和高速傳輸

  因網絡結構不同,網絡適配器亦不同  

     以太網, TCP/IP協議

 

           光纖網, FCP通信協議
    網絡適配器的主要功能:
       數據的發送和接收
            信號的編碼和譯碼

       數據流的處理和控制

    通過網絡接口適配器,可以實現NA(Network Attached Storage,提供獨立的文件服務),也可以組成SAN(Storage AreaNetwork,提供存儲數據網絡)

 

  • SAN:Storage Area Network,提供存儲數據網絡 后端磁盤沒有瓶頸,SAN快,塊的形式。
  • NAS:Network Attached Storage,提供獨立的文件服務  網絡問題解決,NAS速度更快,CPU密集型(隨機小塊IO)應用優先考慮,文件形式。

存儲軟件過程 

本地數據存取過程

數據存取的發起源:用戶驅動的應用、 操作系統內部調用、數據庫產生的I/O請求等
數據存取的過程

  • 通過文件系統發出的I/O請求被放置在操作系統的進程隊列中,等待系統提供包括內存空間、 CPU處理、通信及I/O等資源; 一旦條件具備,便執行I/O服務請求
  • 若操作系統具有卷管理器功能,或在操作系統中集成有卷管理器。 則文件系統發出的I/O請求被輸入到卷管理器。經卷管理進行某些處理,例如鏡像、分塊、軟件盤陣列、連接、分配磁盤緩存等等。 將I/O請求依次發送到由卷管理器創建的磁盤驅動器分區的邏輯驅動器中,通過調用設備驅動程序,與固化在總線適配器中的部分控制軟件一起完成對磁盤驅動器的讀/寫操作。 

網絡存取過程(客戶端)

  • 當應用出現時,同樣由操作系統將請求放置在隊列中等待處理。但是,對於網絡服務器需要經過I/O重定向,使遠程網絡服務器和文件系統如同本地一樣地為客戶服務。
  • I/O重定向后,系統將用戶(或應用)的I/O請求從文件系統的本地I/O途徑重新定向到使用網絡資源的路徑,即傳輸到網絡文件協議處理程序,並經網絡接口適配器的驅動程序驅動網卡進入網絡。
  • 網絡文件協議由多個協議層組成,網絡文件協議處理程序可視為一系列有序的設備驅動程序,在操作系統的協同下完成用戶的I/O請求。

       

網絡存取過程(服務端) 

  •  當數據從用戶端網卡送到網絡服務器后,首先由網絡接口控制器(網卡)的設備驅動程序解析數據,並將信息傳送到網絡文件協議處理程序,由該程序產生客戶與服務器連接所必需的信息。
  • 將客戶請求送到服務器的文件系統,完成在本地文件服務時所應做的工作,發出I/O請求。
  • I/O請求被送到卷管理器(有數據庫的服務器則由數據庫管理系統發出I/O請求並處理),由設備驅動程序完成以后的存取文件的任務。

存取系統軟件

操作系統

  • 數據的存取過程都是由操作系統控制的。它既控制連接在服務器、工作站上的設備或子系統的運行,同時也是組成存儲子系統,如RAID,NAS和SAN的核心軟件。
  • 操作系統的主要任務之一是管理存儲系統,包括管理內存,組織虛擬存儲和管理外存儲系統,而這些功能正是操作系統的核心,可以說它是構造存儲子系統的核心軟件。

文件系統

  • 管理和調度文件的存儲空間,提供文件的邏輯結構、物理結構和存儲方法
  • 實現文件從標識到實際地址的映射(即按名存取),實現文件的控制操作和存取操作(包括文件的建立、撤銷、打開、關閉,對文件的讀、寫、修改、復制、轉儲等)
  • 實現文件信息的共享並提供可靠的文件保密和保護措施,提供文件的安全措施(文件的轉儲和恢復能力) 

網絡文件協議

   網絡文件協議常見的有CIFS, NFS, FTP等;網絡文件協議位於TCP/IP或UDP/IP協議之上,用以處理客戶I/O請求,如產生所有的必要的連接和跟蹤遠程客戶交換數據的信息,並將客戶請求傳輸給文件系統;通用的網絡文件協議棧(分層軟件)

卷管理器
  卷管理器是在文件系統之下的一個軟件模塊,它所涉及的設備操作比文件系統的層次低;
  文件系統通過邏輯驅動器進行文件的存取操作,它將數據放置在邏輯驅動器上,最大限度地保證數據的可靠性和一致性;
  卷管理器則創建實際的磁盤驅動器分區,並將其設置為邏輯驅動器,通常具備以下功能:
    鏡像。卷管理器將由文件系統發生的I/O請求鏡像到它所創建的分區,由相應的邏輯驅動器實現鏡像存儲;
    分塊。卷管理器通過一個輪轉進程,將I/O操作指令和數據輪流發送到相應的多個驅動器,實現分塊存取;
    軟件RAID。卷管理器可以實現RAID技術,這種RAID與由獨立的硬件實現的RAID相比,具有價格便宜的優點,但是其存取速度相對較慢;
    高速磁盤緩存。卷管理器可以將沒有占用的內存空間作為緩存,臨時存儲數據。

NVMe理解:

一篇文章講清什么是NVMe

理解NVMe的內部實現原理,這一篇就夠


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM