快照技術原理


一、概念解釋
像照相機一樣,機器快門一閃,很快就把剛剛的人像停留在了相紙上。存儲系統中的數據“快照”與我們生活中所說的“照片”非常相似,所不同的是,照片的對象不是人,而是數據。如同照片留住了我們過去的摸樣和歲月,快照把數據在某一時刻的映像也保留了下來。因此我們可以根據快照查找數據在過去某一時刻的映像,常常用來作為增強數據備份系統的一種技術,它可以很大的縮短RTO和RPO兩個指標。
SNIA(存儲網絡行業協會)對快照(Snapshot)的定義是:關於指定數據集合的一個完全可用拷貝,該拷貝包括相應數據在某個時間點(拷貝開始的時間點)的映像。快照可以是其所表示的數據的一個副本,也可以是數據的一個復制品。而從具體的技術細節來講,快照是指向保存在存儲設備中的數據的引用標記或指針。
磁盤快照(Snapshot)是針對整個磁盤卷冊進行快速的檔案系統備份,與其它備份方式最主要的不同點在於「速度」。進行磁盤快照時,並不牽涉到任何檔案復制動作。就算數據量再大,一般來說,通常可以在一秒之內完成備份動作。
磁盤快照的基本概念與磁帶備份等機制有非常大的不同。在建立磁盤快照時,並不需要復制數據本身,它所作的只是通知LX Series NAS服務器將目前有數據的磁盤區塊全部保留起來,不被覆寫。這個通知動作只需花費極短的時間。接下來的檔案修改或任何新增、刪除動作,均不會覆寫原本數據所在的磁盤區塊,而是將修改部分寫入其它可用的磁盤區塊中。所以可以說,數據復制,或者說數據備份,是在平常檔案存取時就做好了,而且對效能影響極低。LX Series NAS檔案系統內部會建立一份數據結構,紀錄磁盤快照備份及目前作用中檔案系統所使用到的磁盤區塊及指針,讓使用者可以同時存取到主要檔案系統及過去的磁盤快照版本。
二、快照技術類型
快照技術的作用:主要是能夠進行在線數據恢復,當存儲設備發生應用故障或者文件損壞時可以進行及時數據恢復,將數據恢復成快照產生時間點的狀態。快照的另一個作用是為存儲用戶提供了另外一個數據訪問通道,當原數據進行在線應用處理時,用戶可以訪問快照數據,還可以利用快照進行測試等工作。  因此,所有存儲系統,不論高中低端,只要應用於在線系統,那么快照就成為一個不可或缺的功能。創建一個快照不同的設備需要不同的命令,但對於系統來說,基本都包括如下幾個步驟:
  1、首先發起創建指令;
  2、在發起時間點,指令通知操作系統暫停應用程序和文件系統的操作;
  3、刷新文件系統緩存,結束所有的讀寫事務;
  4、創建快照點;
  5、創建完成之后,釋放文件系統和應用程序,系統恢復正常運行。
  現在,快照技術已經超越了簡單的數據保護范疇。我們可以用快照進行高效且無風險的應用軟件測試。用快照數據做測試,不會對生產數據造成任何的破壞。對於數據挖掘(data mining)和電子發現(eDiscovery)應用,快照也是理想的測試數據源。在災難恢復方面,快照是一種非常有效的方法——甚至是首選,非常適合遭到惡意軟件攻擊、人為誤操作和數據損壞等邏輯錯誤發生時的數據恢復。過去我們認為只有磁盤陣列具備快照功能,但事實上磁盤陣列只是其中之一而已。廣義的快照技術通常可有7個不同類型的實現主體:
  1、主機文件系統(包括服務器、台式機、筆記本電腦);
  2、邏輯卷管理器(LVM);
  3、網絡附加存儲系統(NAS);
  4、磁盤陣列;
  5、存儲虛擬化設備;
  6、主機虛擬化管理程序;
  7、數據庫。
  下面將逐項介紹一下在各個系統中快照技術的應用,並對其進行詳細的說明。
  1、基於文件系統的快照
很多文件系統都支持快照功能,微軟的Windows NTFS有VSS卷影拷貝服務(Volume Shadow Copy Services, Vista稱作Shadow Copy);Sun Solaris的最新文件系統ZFS(Zettabyte File System);Apple公司的Mac OS X 10.6(雪豹);Novell NetWare 4.11(或更高版本)的Novell Storage Services (NSS) ; Novell SUSE Linux操作系統下的OES-Linux等等。
  “免費”是文件系統快照的優勢之一,因為它集成在文件系統內部;另一個優點是非常好用,最新版文件系統的快照功能通常使用起來很簡單。不利的一方面是,每個文件系統都必須獨立進行管理,當系統數量激增時,管理工作會變得非常繁重。想象一下,如果我們要做快照復制的話,需要給每一個文件系統都配置一套復制關系,而且還只能復制該文件系統自己的快照。此外,不同文件系統所提供的快照種類、快照頻率、預留空間等參數也可能不一樣,當然也包括設置、操作和管理上的差異。總之,需要管理的服務器和文件系統越多,復雜程度就越高。
  2、基於LVM(邏輯卷管理器)的快照
  帶有快照功能的LVM也很多,比如惠普HP-UX操作系統的 Logical Volume Manager;Linux平台的Logical Volume Manager 和Enterprise Volume Management System系統 ;微軟Windows 2000及后續版本自帶的Logical Disk Manager系統;SUN Solaris 10操作系統的ZFS;以及賽門鐵克公司的Veritas Volume Manager(注:Veritas Volume Manager是賽門鐵克Veritas Storage Foundation產品的一部分)。
  我們可以創建跨多個文件系統的LVM快照。像賽門鐵克的Veritas Volume Manager可以支持大多數常見的操作系統和文件系統。LVM通常還包括存儲多路徑和存儲虛擬化等功能。
  使用LVM時,通常要付出額外的成本,包括為每台服務器購買license(許可證)和維護費。而且,像基於文件系統的快照一樣,我們可能還要面對系統之間的協調問題和復雜的技術實施問題。
  3、基於NAS的快照
  NAS本質上就是一個經過優化的、或是專門定制的文件系統,運行在特定的設備上,或集成在存儲設備里。大多數中端和企業級NAS系統都提供快照功能,其中既有使用專有操作系統的設備,也包括大量基於Microsoft Windows Storage Server軟件的各種NAS。
  通過網絡連接到NAS的計算機系統都可以使用這種標准的通用快照,包括物理服務器、虛擬機、台式機和筆記本電腦。它也非常容易操作和管理。基於NAS的快照往往同Windows Volume Shadow Copy Services(卷影復制服務VSS)、備份服務器和備份Agent等軟件集成在一起使用。一些NAS廠商還為非Windows平台的數據應用系統開發了Agent代理程序。其他一些與NAS快照有關的技術還包括重復數據刪除(EMC公司,FalconStor軟件公司和NetApp的產品),有些廠商甚至提供了帶有自動精簡配置功能的快照,目的是讓快照占用的空間變得更少。
  但是,使用便利的工具和附加功能也需要成本,軟件license和維護費相當昂貴,一般是按照機器數量和磁盤卷容量來計算。大多數公司的數據量增長很快,需要使用NAS快照的地方也越來越多,因此,操作和管理也將更復雜。
  4、基於磁盤陣列的快照
  大多數磁盤陣列的軟件系統里都含有快照功能。基於磁盤陣列的快照與基於NAS的快照有非常相似的優點,即所有與磁盤陣列相連的計算機系統都可以使用這種標准的通用快照功能,包括物理服務器、虛擬機、台式機和筆記本電腦等等。快照的實施、操作和管理也都很簡單。像NAS一樣,很多磁盤陣列的快照功能也可以被Windows VSS、備份服務器和備份Agent等軟件直接調用。一些磁盤陣列廠商還有可供非Windows平台應用系統使用的Agent代理程序。
  基於磁盤陣列的快照也有一些缺點:license和維護費用昂貴;對非Windows平台的應用程序支持有限;磁盤陣列的數量越多,快照的管理也就越復雜。
  5、基於存儲虛擬化設備的快照
  這里所說的存儲虛擬化設備主要用於SAN光纖網絡環境,不同於基於文件(NFS)應用的網絡設備,像F5 Network公司的Acopia ARX產品就是排除在這個范疇之外的。主要的存儲虛擬化軟硬件設備(或融合了虛擬化功能的存儲系統)包括:Cloverleaf Communication公司的Intelligent Storage Networking System (iSN);DataCore Software公司的 SANsymphony和SANmelody;EMC的Celerra Gateway blades;FalconStor公司的IPStor;HP的XP系列存儲;HDS的Universal Storage Platform V/VM;IBM的SAN Volume Controller;LSI的StoreAge Storage Virtualization Manager (SVM)以及NetApp的V-Series storage controllers等等。
  磁盤陣列和NAS快照所具備的優點在存儲虛擬化設備上同樣能夠體現,而且某些方面還能做的更好。我們可以將來自不同廠商的很多存儲設備聚集在少量的幾個控制點或單一控制點上進行管理,提供通用的標准化快照。這樣做最大程度的簡化了快照的管理操作成本和學習成本。
  存儲虛擬化快照的缺點與上述類型相比則有些不同。使用存儲虛擬化設備會導致I/O延遲的增加,即使是采用旁路架構的設計,最終還是會影響應用程序的響應時間。增加存儲虛擬化設備還會使故障分析變得更加困難,潛在的還可能激化廠商之間對故障責任的推諉。從另一個角度看,雖然增加額外的虛擬化存儲硬件或軟件要產生一定的費用,但是與每個存儲系統都獨立購買快照功能相比,它的軟件license和維護費用都要低一些。
  6、基於主機虛擬化軟件的快照
  隨着服務器虛擬化應用的普及,基於主機虛擬化管理軟件(hypervisor)的快照技術也逐漸流行起來。像Citrix公司的 XenServer、微軟的Hyper – V、SUN的xVM Ops Center、以及VMware的ESX和vSphere4等主機虛擬化產品都支持快照功能。
  在主機虛擬化軟件層實現快照的優點是簡單直接。由於同虛擬機管理軟件綁定在一起,因此可以為所有的虛擬機 (VMs) 提供統一的快照,並且還可以同微軟的VSS集成,隨時調用。相對而言,基於虛擬機的快照很容易部署、使用和管理。
  但是,如果非要找出不喜歡這種快照的理由?我想應該是每一套虛擬機軟件的快照需要單獨管理;而且當我們在非Windows平台下使用這種快照技術時,必須針對整個VM。這意味着我們只能做粗粒度的數據恢復,還要消耗更多的恢復時間。這種快照是在Windows操作系統外部創建,所以它不能架構在應用軟件感知的層面,導致快照出來的映像數據有可能是不一致狀態。
  7、基於數據庫的快照
  在數據庫中,快照動作被稱為“snapshot isolation(快照隔離)”。像Oracle和PostgreSQL這樣的數據庫需要做快照隔離以確保所有的交易命令序列化,就好像被一個個隔開一樣,然后再逐個執行。其他的一些數據庫也支持快照隔離,但並不要求將交易序列化。在一般情況下,數據庫備份工具會利用快照隔離的功能,用快照來恢復崩潰(出現一致性問題)的數據表。
  針對數據庫內部數據和基於該數據庫的相關應用,使用數據庫自帶的快照比較有效。
  相反,數據庫快照的重要缺欠就是覆蓋的范圍非常有限,其作用僅限於特定的數據庫內部和數據庫相關的應用,無法管理同在一台服務器上的文件系統、文件類應用或其他數據庫,更不用說管理到其他的服務器了。有時候我們不得不通過其他層次的快照技術來解決數據庫之外的數據保護問題,這樣,操作和管理將變得有些復雜。
  不同類型的快照及工作原理
  通常,我們會提到6種類型的快照技術:
  1、Copy-on-write 復制寫
  2、Redirect-on-write 重定向寫
  3、Clone or split mirror 克隆或鏡像
  4、Copy-on-write with background copy后台拷貝的復制寫
  5、Incremental 增量快照
  6、Continuous data protection 持續數據保護
  復制寫和重定向寫快照
  Copy-on-write (COW) 復制寫快照
  COW快照需要消耗一些存儲空間--建立快照卷。當我們為一個數據卷創建一個快照之后,這些預留的空間用來存放被變化數據更新的舊數據。COW快照在初始化的過程中僅僅創建用來描述源數據塊位置的指針信息(元數據),而不是完整的將源數據塊拷貝過來。因此初始化的過程幾乎可以在瞬間完成,對系統的影響也很小。
  COW快照會跟蹤數據卷的寫操作和數據塊變化。當某個數據塊發生改變時,在將舊的數據覆蓋之前,首先將該塊的舊數據復制到預留的快照卷,該步驟僅在數據卷相應數據塊位置發生第一次寫操作請求時進行。這個處理過程確保快照出來的數據與發起快照的那個精確時間點保持完全一致。這個過程也描述了“copy on write”這個名字的含義。
  如果我們需要訪問某個時間點的快照數據,對沒有改變過的塊直接從數據卷讀取;對已經改變並被復制的塊則從快照空間讀取。從快照被創建那一刻開始,每個快照都會跟蹤記錄描述塊改變的元數據信息。
  COW快照的主要優勢在於空間的高效利用,因為快照卷只需要保留發生過變化的數據塊,與數據卷相比要小得多。但是我們也知道COW快照有個缺點,它會引起數據卷性能的下降,這是因為創建快照之后,對數據卷的寫操作會增加一個等待的過程 --即舊數據塊復制到快照卷的過程。另外一個關鍵問題是每個快照卷必須依賴一個完整的數據卷。
  Redirect-on-write (ROW) 重定向寫快照
  “ROW重定向寫”與“COW復制寫”是相對的概念,它可以避免兩次寫操作引起的性能損失。ROW同COW一樣在空間利用方面效率非常高。那是什么讓ROW快照避免了寫性能的損耗?其中的原因是ROW把對數據卷的寫請求重定向給了快照預留的存儲空間,而寫操作的重定向設計則把需要兩次寫才能完成的操作減少為一次寫。我們知道COW的兩次寫包括:1、將舊數據寫入快照卷;2、在數據卷寫入新數據。而ROW只有寫入新數據一步。
  使用ROW快照,數據卷存放的是上一個快照時間點的舊數據,新數據最終存放在預留的快照空間。這里也有一個復雜的問題,就是快照的刪除。被刪除的快照上的數據必須被復制到原始數據卷,並且做一致性回退。創建的快照越多,維護快照的復雜度也會以指數級別上升。這些復雜性包括對原始數據的訪問、快照數據和原始數據卷的跟蹤、以及快照刪除后的數據調整。另一個直接引發的嚴重問題是,原始數據集中會產生大量的碎片。
  克隆或分割鏡像快照與后台拷貝的復制寫快照
  Clone or split-mirror 克隆或分割鏡像快照
  Clone(或split-mirror)快照所創建的是數據的完整副本。Clone(或split-mirror)快照的對象可以是一個存儲卷、一個文件系統或者是一個LUN(logical unit number 邏輯單元號)。Clone快照的優點是它們具有高可用性;缺點是所有的數據都要完整的復制一份,復制的過程也不可能在瞬間完成。我們可以分割一對保持同步狀態的鏡像卷來啟用Clone快照,分割的過程瞬間即可完成。然而,當鏡像被分割成Clone快照之后,數據卷也就失去了他的同步鏡像。
  使用Clone快照需要面對的一個非常嚴重的問題是每個快照都需要和數據卷一樣大的存儲空間。尤其是當我們在任何時刻都需要保持一份以上Clone卷的情況,這個成本會非常高。另一個缺點是影響性能,因為在鏡像卷之間保持寫同步需要一定的系統開銷。
  Copy-on-write with background copy 后台拷貝的復制寫快照
  Copy-on-write with background copy快照有兩個生成步驟:首先創建一個瞬時即可生成的COW快照;然后利用后台進程將數據卷的數據復制到快照空間,最后生成一份數據卷的克隆或鏡像。
  創建這種快照的目的是發揮COW快照的優勢,同時盡量屏蔽它的不足。因此,這種快照常常被形容為COW和Clone快照的混合體。
  增量快照與持續數據保護
  (Incremental)增量快照
  增量快照的特點是可以跟蹤數據卷和快照卷的變化。當一個新的增量快照生成之后,舊的快照數據將被刷新。第一個快照和隨后創建的每一個增量快照數據上都有時間戳標記,利用時間戳我們能夠將快照數據回滾到任意的一個時間點。增量快照技術能夠加快后續快照的生成速度,而且僅僅在名義上多消耗了一點空間而已。由此,我們可以提高創建快照的頻率,也能讓快照保留得更久一點。
  增量快照的不足之處是它需要依靠上面所提到的其他基礎技術來創建第一個快照 (COW、ROW、clone/split mirror、copy-on-write with background copy) 。如果用Clone方式,那么第一個快照需要較長的初始化時間;如果用COW方式,數據卷的性能會降低。
  持續數據保護(CDP)
  CDP的出現是為了實現零數據丟失的RPO指標,以及瞬時數據恢復的RTO指標。它本身與同步數據鏡像很類似,不同之處在於CDP還可以對軟性災難進行恢復。包括人為誤操作、惡意軟件攻擊、意外刪除、數據損壞等情況。
  持續數據保護頗像頻率很高的增量快照。它會捕獲並復制任何時刻發生的數據變化,並且給這些數據塊打上時間戳。CDP本質上相當於每個時刻都創建一份增量快照,提供細粒度的精確數據恢復。有些CDP產品同時提供基於時間和基於事件(例如應用程序升級事件)兩種粒度的恢復方式。還有一個理解CDP概念的好方法就是將它看成一個快照的journal日志。
  對於郵件系統、數據庫和基於數據庫的應用來說,CDP是一個極好的保護方案,能將數據回滾到任意的歷史時間點,恢復過程也簡便、迅速。最有代表性的CDP產品是飛康公司的IPStor,它是一個集成了CDP功能的存儲系統兼存儲虛擬化設備。
  隨着越來越多的數據需要保護,備份窗口也變得越來越緊張,因此需要快照技術來幫助我們解決備份問題。在現實的應用環境中,快照利用的是否恰當對數據保護的等級和恢復的速度有着很大的影響。盡管各類型快照之間存在的技術差異不太容易理解,但無論如何,快照技術都將在數據保護領域和日常存儲管理中扮演重要的角色。
三、特別注意:快照的一致性問題
  如果用快照來處理結構化數據,可能會存在一些問題。結構化數據涉及到數據庫,以及數據庫類應用(例如郵件系統、ERP或CRM等等)。許多產品中的快照並不能與這些應用程序集成或被直接調用。有一種可能的情況是,在我們創建快照的瞬間,數據庫恰好不在靜止狀態(緩存正在刷新、寫操作事務尚未完成、索引和元數據正在更新等等),此刻生成的快照數據是不一致的,很有可能無法正常使用。
  在微軟的Windows Server平台上,這個問題要簡單得多,利用Windows Volume Shadow Copy Services (VSS)和它的API,數據庫應用程序可以集成並調用快照工具。VSS是專門為結構化數據應用設計的服務框架,可以驅動數據庫等應用進入數據一致性的靜止狀態,在快照開始初始化之前,完成刷新緩存、結束寫操作以及系統狀態的更新。
  遺憾的是,目前在Linux和Unix操作系統平台上還沒有類似VSS的服務或API。VMware公司的vCenter storage API可以說是一個部分解決方案。快照的發起者可以通過vCenter storage API給vCenter發出一個指令,讓虛擬機進入靜止狀態,然后再執行快照。但這個時候,快照由於沒有通過應用程序感知,也許會存在不一致的問題。
這里還有一個好辦法,可以不通過Windows VSS,獲得數據庫的一致性快照。這個辦法需要備份軟件的配合。將快照的API同備份軟件集成,就可以從備份服務器端驅動備份軟件的數據庫代理Agent。Agent備份代理程序可以驅動數據庫進入靜止狀態,然后反向讓備份服務器通知快照工具開始執行創建快照的操作。這也是一個比較有效的辦法。

四、快照技術使用方法
具體使用快照時,存儲管理員可以有三種形式,即冷快照拷貝、暖快照拷貝和熱快照拷貝。
  冷快照拷貝:進行冷快照拷貝是保證系統可以被完全恢復的最安全的方式。在進行任何大的配置變化或維護過程之前和之后,一般都需要進行冷拷貝,以保證完全的恢復原狀(rollback)。冷拷貝還可以與克隆技術相結合復制整個服務器系統,以實現各種目的,如擴展、制作生產系統的復本供測試/開發之用以及向二層存儲遷移。
  暖快照拷貝:暖快照拷貝利用服務器的掛起功能。當執行掛起行動時,程序計數器被停止,所有的活動內存都被保存在引導硬盤所在的文件系統中的一個臨時文件(.vmss文件)中,並且暫停服務器應用。在這個時間點上,復制整個服務器(包括內存內容文件和所有的LUN以及相關的活動文件系統)的快照拷貝。在這個拷貝中,機器和所有的數據將被凍結在完成掛起操作時的處理點上。
  當快照操作完成時,服務器可以被重新啟動,在掛起行動開始的點上恢復運行。應用程序和服務器過程將從同一時間點上恢復運行。從表面上看,就好像在快照活動期間按下了一個暫停鍵一樣。對於服務器的網絡客戶機看來,就好像網絡服務暫時中斷了一下一樣。對於適度加載的服務器來說,這段時間通常在30到120秒。
  熱快照拷貝:在這種狀態下,發生的所有的寫操作都立即應用在一個虛擬硬盤上,系統的文件以保持高度的一致性。服務器提供讓持續的虛擬硬盤處於熱備份模式的工具,以通過添加REDO日志文件在硬盤子系統層上復制快照拷貝。
  一旦REDO日志被激活,復制包含服務器文件系統的LUN的快照是安全的。在快照操作完成后,可以發出另一個命令,這個命令將REDO日志處理提交給下面的虛擬硬盤文件。當提交活動完成時,所有的日志項都將被應用,REDO文件將被刪除。在執行這個操作過程中,會出現處理速度的略微下降,不過所有的操作將繼續執行。但是,在多數情況下,快照進程幾乎是瞬間完成的,REDO的創建和提交之間的時間非常短。熱快照操作過程從表面上看基本上察覺不到服務器速度下降。在最差情況下,它看起來就是網絡擁塞或超載的CPU可能造成的一般服務器速度下降。在最好情況下,不會出現可察覺到的影響。

五、快照與鏡像、復制的區別
鏡像、快照和復制是三種不同的功能
  鏡像是通過從一個I/O創建兩個I/O來復制數據。磁盤鏡像通過OS或卷管理軟件在主系統上創建。磁盤鏡像是依靠平台和本地連接特性的本地選件。鏡像可用於DAS和SAN並且大多數NAS支持它。存儲轉發式鏡像磁盤子系統(例如,EMC SRDF, IBM PPRC, Hitachi TrueCopy)主要用於SAN產品。  復制是通過網絡傳輸數據對象(文件、表格等)。傳輸是從系統到系統進行的,而不是在存儲設備之間或子系統之間進行。復制一般也針對具體平台,因此用於Windows 2000復制產品的運行方式與Unix平台存在很大不同。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM