數據庫的垂直划分和水平划分


  讀寫分離,基本的原理是讓主數據庫處理事務性增、改、刪操作(INSERT、UPDATE、DELETE),而從數據庫處理SELECT查詢操作。數據庫復制被用來把事務性操作導致的變更同步到集群中的從數據庫。

       為什么要分庫、分表、讀寫分?

       單表的數據量限制,當單表數據量到一定條數之后數據庫性能會顯著下降。數據多了之后,對數據庫的讀、寫就會很多。分庫減少單台數據庫的壓力。接觸過幾個分庫分表的系統,都是通過主鍵進行散列分褲分表的。這類數據比較特殊,主鍵就是唯一的獲取該條信息的主要途徑。比如:京東的訂單、財付通的交易記錄等。。。該類數據的用法,就是通過訂單號、交易號來查詢該筆訂單、交易。

        還有一類數據,比如用戶信息,每個用戶都有系統內部的一個userid,與userid對應的還有用戶看到的登錄名。那么如果分庫分表的時候單純通過userid進行散列分庫,那么根據登錄名來獲取用戶的信息,就無法知道該用戶處於哪個數據庫中。

       或許有朋友會說,我們可以維護一個email----userid的映射關系,根據email先查詢到userid,在根據userid的分庫分表規則到對應庫的對應表來獲取用戶的記錄信息。這么做是可以的,但是這個映射關系的條數本身也是個瓶頸,原則上是沒有減少單表內數據的條數,算是一個單點。並且要維護這個映射關系和用戶信息的一致性(修改登錄名、多登錄名等其他特殊需求),最大一個原因,其實用戶信息是一個讀大於寫的庫,web2.0都是以用戶為中心,所有信息都和用戶信息相關聯,所以對用戶信息拆分還是有一定局限性的。

       對於這類讀大於寫並且數據量增加不是很明顯的數據庫,推薦采用讀寫分離+緩存的模式,試想一下一個用戶注冊、修改用戶信息、記錄用戶登錄時間、記錄用戶登錄IP、修改登錄密碼,這些是寫操作。但是以上這些操作次數都是很小的,所以整個數據庫的寫壓力是很小的。唯一一個比較大的就是記錄用戶登錄時間、記錄用戶登錄IP這類信息,只要把這些經常變動的信息排除在外,那么寫操作可以忽略不計。所以讀寫分離首要解決的就是經常變化的數據的拆分,比如:用戶登錄時間、記錄用戶登錄IP。這類信息可以單獨獨立出來,記錄在持久化類的緩存中(可靠性要求並不高,登陸時間、IP丟了就丟了,下次來了就又來了)

        以oracle為例,主庫負責寫數據、讀數據。讀庫僅負責讀數據。每次有寫庫操作,同步更新cache,每次讀取先讀cache在讀DB。寫庫就一個,讀庫可以有多個,采用dataguard來負責主庫和多個讀庫的數據同步。

 
本文轉自http://blog.csdn.net/kobejayandy/article/details/8775255 感謝作者

數據切分可以是物理上的,對數據通過一系列的切分規則將數據分布到不同的DB服務器上,通過路由規則路由訪問特定的數據庫,這樣一來每次訪問面對的就不是單台服務器了,而是N台服務器,這樣就可以降低單台機器的負載壓力。

據切分也可以是數據庫內的,對數據通過一系列的切分規則,將數據分布到一個數據庫的不同表中,比如將article分為article_001,article_002等子表,若干個子表水平拼合有組成了邏輯上一個完整的article表,這樣做的目的其實也是很簡單的。 舉個例子說明,比如article表中現在有5000w條數據,此時我們需要在這個表中增加(insert)一條新的數據,insert完畢后,數據庫會針對這張表重新建立索引,5000w行數據建立索引的系統開銷還是不容忽視的。但是反過來,假如我們將這個表分成100 個table呢,從article_001一直到article_100,5000w行數據平均下來,每個子表里邊就只有50萬行數據,這時候我們向一張只有50w行數據的table中insert數據后建立索引的時間就會呈數量級的下降,極大了提高了DB的運行時效率,提高了DB的並發量。當然分表的好處還不知這些,還有諸如寫操作的鎖操作等,都會帶來很多顯然的好處。

綜上,分庫降低了單點機器的負載;分表,提高了數據操作的效率,尤其是Write操作的效率。

 
2


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM