： 雜談 |
NoSQL這兩年越來越熱，尤其是大型互聯網公司非常熱衷這門技術。根據筆者的經驗，並不是任何場景，NoSQL都要優於關系型數據庫。下面我們來具體聊聊，什么時候使用NoSQL比較給力：
1) 數據庫表schema經常變化 比如在線商城，維護產品的屬性經常要增加字段，這就意味着ORMapping層的代碼和配置要改，如果該表的數據量過百萬，新增字段會帶來額外開銷（重建索引等）。NoSQL應用在這種場景，可以極大提升DB的可伸縮性，開發人員可以將更多的精力放在業務層。
2)數據庫表字段是復雜數據類型
對於復雜數據類型，比如SQL Sever提供了可擴展性的支持，像xml類型的字段。很多用過的同學應該知道，該字段不管是查詢還是更改，效率非常一般。主要原因是是DB層對xml字段很難建高效索引，應用層又要做從字符流到dom的解析轉換。NoSQL以json方式存儲，提供了原生態的支持，在效率方便遠遠高於傳統關系型數據庫。
3)高並發數據庫請求
此類應用常見於web2.0的網站，很多應用對於數據一致性要求很低，而關系型數據庫的事務以及大表join反而成了"性能殺手"。在高並發情況下，sql與no-sql的性能對比由於環境和角度不同一直是存在爭議的，並不是說在任何場景，no-sql總是會比sql快。有篇article和大家分享下，http://artur.ejsmont.org/blog/content/insert-performance-comparison-of-nosql-vs-sql-servers
4)海量數據的分布式存儲
海量數據的存儲如果選用大型商用數據，如Oracle，那么整個解決方案的成本是非常高的，要花很多錢在軟硬件上。NoSQL分布式存儲，可以部署在廉價的硬件上，是一個性價比非常高的解決方案。Mongo的auto-sharding已經運用到了生產環境。http://www.mongodb.org/display/DOCS/Sharding
並不是說NoSQL可以解決一切問題，像ERP系統、BI系統，在大部分情況還是推薦使用傳統關系型數據庫。主要的原因是此類系統的業務模型復雜，使用NoSQL將導致系統的維護成本增加。
為什么要使用NoSQL
NoSQL概念
隨着web2.0的快速發展，非關系型、分布式數據存儲得到了快速的發展，它們不保證關系數據的ACID特性。NoSQL概念在2009年被提了出來。NoSQL最常見的解釋是“non-relational”，“Not Only SQL”也被很多人接受。（“NoSQL”一詞最早於1998年被用於一個輕量級的關系數據庫的名字。）
NoSQL被我們用得最多的當數key-value存儲，當然還有其他的文檔型的、列存儲、圖型數據庫、xml數據庫等。在NoSQL概念提出之前，這些數據庫就被用於各種系統當中，但是卻很少用於web互聯網應用。比如cdb、qdbm、bdb數據庫。
傳統關系數據庫的瓶頸
傳統的關系數據庫具有不錯的性能，高穩定型，久經歷史考驗，而且使用簡單，功能強大，同時也積累了大量的成功案例。在互聯網領域，MySQL成為了絕對靠前的王者，毫不誇張的說，MySQL為互聯網的發展做出了卓越的貢獻。
在90年代，一個網站的訪問量一般都不大，用單個數據庫完全可以輕松應付。在那個時候，更多的都是靜態網頁，動態交互類型的網站不多。
到了最近10年，網站開始快速發展。火爆的論壇、博客、sns、微博逐漸引領web領域的潮流。在初期，論壇的流量其實也不大，如果你接觸網絡比較早，你可能還記得那個時候還有文本型存儲的論壇程序，可以想象一般的論壇的流量有多大。
Memcached+MySQL
后來，隨着訪問量的上升，幾乎大部分使用MySQL架構的網站在數據庫上都開始出現了性能問題，web程序不再僅僅專注在功能上，同時也在追求性能。程序員們開始大量的使用緩存技術來緩解數據庫的壓力，優化數據庫的結構和索引。開始比較流行的是通過文件緩存來緩解數據庫壓力，但是當訪問量繼續增大的時候，多台web機器通過文件緩存不能共享，大量的小文件緩存也帶了了比較高的IO壓力。在這個時候，Memcached就自然的成為一個非常時尚的技術產品。
Memcached作為一個獨立的分布式的緩存服務器，為多個web服務器提供了一個共享的高性能緩存服務，在Memcached服務器上，又發展了根據hash算法來進行多台Memcached緩存服務的擴展，然后又出現了一致性hash來解決增加或減少緩存服務器導致重新hash帶來的大量緩存失效的弊端。當時，如果你去面試，你說你有Memcached經驗，肯定會加分的。
Mysql主從讀寫分離
由於數據庫的寫入壓力增加，Memcached只能緩解數據庫的讀取壓力。讀寫集中在一個數據庫上讓數據庫不堪重負，大部分網站開始使用主從復制技術來達到讀寫分離，以提高讀寫性能和讀庫的可擴展性。Mysql的master-slave模式成為這個時候的網站標配了。
分表分庫
隨着web2.0的繼續高速發展，在Memcached的高速緩存，MySQL的主從復制，讀寫分離的基礎之上，這時MySQL主庫的寫壓力開始出現瓶頸，而數據量的持續猛增，由於MyISAM使用表鎖，在高並發下會出現嚴重的鎖問題，大量的高並發MySQL應用開始使用InnoDB引擎代替MyISAM。同時，開始流行使用分表分庫來緩解寫壓力和數據增長的擴展問題。這個時候，分表分庫成了一個熱門技術，是面試的熱門問題也是業界討論的熱門技術問題。也就在這個時候，MySQL推出了還不太穩定的表分區，這也給技術實力一般的公司帶來了希望。雖然MySQL推出了MySQL Cluster集群，但是由於在互聯網幾乎沒有成功案例，性能也不能滿足互聯網的要求，只是在高可靠性上提供了非常大的保證。
MySQL的擴展性瓶頸
在互聯網，大部分的MySQL都應該是IO密集型的，事實上，如果你的MySQL是個CPU密集型的話，那么很可能你的MySQL設計得有性能問題，需要優化了。大數據量高並發環境下的MySQL應用開發越來越復雜，也越來越具有技術挑戰性。分表分庫的規則把握都是需要經驗的。雖然有像淘寶這樣技術實力強大的公司開發了透明的中間件層來屏蔽開發者的復雜性，但是避免不了整個架構的復雜性。分庫分表的子庫到一定階段又面臨擴展問題。還有就是需求的變更，可能又需要一種新的分庫方式。
MySQL數據庫也經常存儲一些大文本字段，導致數據庫表非常的大，在做數據庫恢復的時候就導致非常的慢，不容易快速恢復數據庫。比如1000萬4KB大小的文本就接近40GB的大小，如果能把這些數據從MySQL省去，MySQL將變得非常的小。
關系數據庫很強大，但是它並不能很好的應付所有的應用場景。MySQL的擴展性差（需要復雜的技術來實現），大數據下IO壓力大，表結構更改困難，正是當前使用MySQL的開發人員面臨的問題。
NOSQL的優勢
易擴展
NoSQL數據庫種類繁多，但是一個共同的特點都是去掉關系數據庫的關系型特性。數據之間無關系，這樣就非常容易擴展。也無形之間，在架構的層面上帶來了可擴展的能力。
大數據量，高性能
NoSQL數據庫都具有非常高的讀寫性能，尤其在大數據量下，同樣表現優秀。這得益於它的無關系性，數據庫的結構簡單。一般MySQL使用Query Cache，每次表的更新Cache就失效，是一種大粒度的Cache，在針對web2.0的交互頻繁的應用，Cache性能不高。而NoSQL的Cache是記錄級的，是一種細粒度的Cache，所以NoSQL在這個層面上來說就要性能高很多了。
靈活的數據模型
NoSQL無需事先為要存儲的數據建立字段，隨時可以存儲自定義的數據格式。而在關系數據庫里，增刪字段是一件非常麻煩的事情。如果是非常大數據量的表，增加字段簡直就是一個噩夢。這點在大數據量的web2.0時代尤其明顯。
高可用
NoSQL在不太影響性能的情況，就可以方便的實現高可用的架構。比如Cassandra，HBase模型，通過復制模型也能實現高可用。
總結
NoSQL數據庫的出現，彌補了關系數據（比如MySQL）在某些方面的不足，在某些方面能極大的節省開發成本和維護成本。
MySQL和NoSQL都有各自的特點和使用的應用場景，兩者的緊密結合將會給web2.0的數據庫發展帶來新的思路。讓關系數據庫關注在關系上，NoSQL關注在存儲上。
上一篇簡單的說明了為什么要使用NoSQL。接下來我們看下如何把NoSQL引入到我們的項目中，我們到底要不要把NoSQL引入到項目中。
在過去，我們只需要學習和使用一種數據庫技術，就能做幾乎所有的數據庫應用開發。因為成熟穩定的關系數據庫產品並不是很多，而供你選擇的免費版本就更加少了，所以互聯網領域基本上都選擇了免費的MySQL數據庫。在高速發展的WEB2.0時代，我們發現關系數據庫在性能、擴展性、數據的快速備份和恢復、滿足需求的易用性上並不總是能很好的滿足我們的需要，我們越來越趨向於根據業務場景選擇合適的數據庫，以及進行多種數據庫的融合運用。幾年前的一篇文章《One Size Fits All - An Idea Whose Time Has Come and Gone》就已經闡述了這個觀點。
當我們在討論是否要使用NoSQL的時候，你還需要理解NoSQL也是分很多種類的，在NoSQL百花齊放的今天，NoSQL的正確選擇比選擇關系數據庫還具有挑戰性。雖然NoSQL的使用很簡單，但是選擇卻是個麻煩事，這也正是很多人在觀望的一個原因。
NoSQL的分類
NoSQL僅僅是一個概念，NoSQL數據庫根據數據的存儲模型和特點分為很多種類。
| 類型 |
部分代表 |
特點 |
| 列存儲 |
Hbase Cassandra Hypertable |
顧名思義，是按列存儲數據的。最大的特點是方便存儲結構化和半結構化數據，方便做數據壓縮，對針對某一列或者某幾列的查詢有非常大的IO優勢。 |
| 文檔存儲 |
MongoDB CouchDB |
文檔存儲一般用類似json的格式存儲，存儲的內容是文檔型的。這樣也就有有機會對某些字段建立索引，實現關系數據庫的某些功能。 |
| key-value存儲 |
Tokyo Cabinet / Tyrant Berkeley DB MemcacheDB Redis |
可以通過key快速查詢到其value。一般來說，存儲不管value的格式，照單全收。（Redis包含了其他功能） |
| 圖存儲 |
Neo4J FlockDB |
圖形關系的最佳存儲。使用傳統關系數據庫來解決的話性能低下，而且設計使用不方便。 |
| 對象存儲 |
db4o Versant |
通過類似面向對象語言的語法操作數據庫，通過對象的方式存取數據。 |
| xml數據庫 |
Berkeley DB XML BaseX |
高效的存儲XML數據，並支持XML的內部查詢語法，比如XQuery,Xpath。 |
以上NoSQL數據庫類型的划分並不是絕對，只是從存儲模型上來進行的大體划分。它們之間沒有絕對的分界，也有交差的情況，比如Tokyo Cabinet / Tyrant的Table類型存儲，就可以理解為是文檔型存儲，Berkeley DB XML數據庫是基於Berkeley DB之上開發的。
NoSQL還是關系數據庫
雖然09年出現了比較激進的文章《關系數據庫已死》，但是我們心里都清楚，關系數據庫其實還活得好好的，你還不能不用關系數據庫。但是也說明了一個事實，關系數據庫在處理WEB2.0數據的時候，的確已經出現了瓶頸。
那么我們到底是用NoSQL還是關系數據庫呢？我想我們沒有必要來進行一個絕對的回答。我們需要根據我們的應用場景來決定我們到底用什么。
如果關系數據庫在你的應用場景中，完全能夠很好的工作，而你又是非常善於使用和維護關系數據庫的，那么我覺得你完全沒有必要遷移到NoSQL上面，除非你是個喜歡折騰的人。如果你是在金融，電信等以數據為王的關鍵領域，目前使用的是Oracle數據庫來提供高可靠性的，除非遇到特別大的瓶頸，不然也別貿然嘗試NoSQL。
然而，在WEB2.0的網站中，關系數據庫大部分都出現了瓶頸。在磁盤IO、數據庫可擴展上都花費了開發人員相當多的精力來優化，比如做分表分庫（database sharding）、主從復制、異構復制等等，然而，這些工作需要的技術能力越來越高，也越來越具有挑戰性。如果你正在經歷這些場合，那么我覺得你應該嘗試一下NoSQL了。
選擇合適的NoSQL
如此多類型的NoSQL，而每種類型的NoSQL又有很多，到底選擇什么類型的NoSQL來作為我們的存儲呢？這並不是一個很好回答的問題，影響我們選擇的因素有很多，而選擇也可能有多種，隨着業務場景，需求的變更可能選擇又會變化。我們常常需要根據如下情況考慮：
- 數據結構特點。包括結構化、半結構化、字段是否可能變更、是否有大文本字段、數據字段是否可能變化。
- 寫入特點。包括insert比例、update比例、是否經常更新數據的某一個小字段、原子更新需求。
- 查詢特點。包括查詢的條件、查詢熱點的范圍。比如用戶信息的查詢，可能就是隨機的，而新聞的查詢就是按照時間，越新的越頻繁。
NoSQL和關系數據庫結合
其實NoSQL數據庫僅僅是關系數據庫在某些方面（性能，擴展）的一個彌補，單從功能上講，NoSQL的幾乎所有的功能，在關系數據庫上都能夠滿足，所以選擇NoSQL的原因並不在功能上。
所以，我們一般會把NoSQL和關系數據庫進行結合使用，各取所長，需要使用關系特性的時候我們使用關系數據庫，需要使用NoSQL特性的時候我們使用NoSQL數據庫，各得其所。
舉個簡單的例子吧，比如用戶評論的存儲，評論大概有主鍵id、評論的對象aid、評論內容content、用戶uid等字段。我們能確定的是評論內容content肯定不會在數據庫中用where content=’’查詢，評論內容也是一個大文本字段。那么我們可以把主鍵id、評論對象aid、用戶id存儲在數據庫，評論內容存儲在NoSQL，這樣數據庫就節省了存儲content占用的磁盤空間，從而節省大量IO，對content也更容易做Cache。
//從MySQL中查詢出評論主鍵id列表 commentIds=DB.query("SELECT id FROM comments where aid='評論對象id' LIMIT 0,20"); //根據主鍵id列表，從NoSQL取回評論實體數據 CommentsList=NoSQL.get(commentIds);
NoSQL代替MySQL
在某些應用場合，比如一些配置的關系鍵值映射存儲、用戶名和密碼的存儲、Session會話存儲等等，用NoSQL完全可以替代MySQL存儲。不但具有更高的性能，而且開發也更加方便。
NoSQL作為緩存服務器
MySQL+Memcached的架構中，我們處處都要精心設計我們的緩存，包括過期時間的設計、緩存的實時性設計、緩存內存大小評估、緩存命中率等等。
NoSQL數據庫一般都具有非常高的性能，在大多數場景下面，你不必再考慮在代碼層為NoSQL構建一層Memcached緩存。NoSQL數據本身在Cache上已經做了相當多的優化工作。
Memcached這類內存緩存服務器緩存的數據大小受限於內存大小，如果用NoSQL來代替Memcached來緩存數據庫的話，就可以不再受限於內存大小。雖然可能有少量的磁盤IO讀寫，可能比Memcached慢一點，但是完全可以用來緩存數據庫的查詢操作。
規避風險
由於NoSQL是一個比較新的東西，特別是我們選擇的NoSQL數據庫還不是非常成熟的產品，所以我們可能會遇到未知的風險。為了得到NoSQL的好處，又要考慮規避風險，魚與熊掌如何兼得？
現在業內很多公司的做法就是數據的備份。在往NoSQL里面存儲數據的時候還會往MySQL里面存儲一份。NoSQL數據庫本身也需要進行備份（冷備和熱備）。或者可以考慮使用兩種NoSQL數據庫，出現問題后可以進行切換（避免出現digg使用Cassandra的悲劇）。
總結
本文只是簡單的從MySQL和NoSQL的角度分析如何選擇，以及進行融合使用。其實在選擇NoSQL的時候，你可能還會碰到關於CAP原則，最終一致性，BASE思想的考慮。因為使用MySQL架構的時候，你也會碰到上面的問題，所以這里沒有闡述。