Django+MongoDB批量插入數據


在百萬級和千萬級數據級別進行插入,pymongo的insert_many()方法有着很強的優勢。原因是每次使用insert_one()方法進行插入數據,都是要對數據庫服務器進行一次訪問,而這樣的訪問是基於TCP連接的,每次在發送請求的時候服務器端都需要對TCP報文進行解析。而使用insert_many(),可以一次給服務器發送大量的數據,只需要一次的TCP報文解析,既可以插入大量數據,避免了大量的報文解析工作。這樣一來,數據插入的效率就會大大提升。所以,為了提升效率,筆者建議在十萬數據級別以上使用insert_many()方法。

下面是我通過使用pymongo原生方法和框架中的經常使用的Mongoengine進行的性能測試。

 

一、使用Mongoengine

Mongoengine是基於面向對象的,在構建集合的時候非常方便,就直接寫一個類。而pymongo是繼承於MongoDB的文檔類型的,所以在框架中使用會相對沒有那么方便。但是Mongoengine目前來講還有許多還沒有完善的地方。個人覺得,還是根據實際的需求來選擇不同的引擎。

插入數據方面,Mongoengine在0.15版本之前只有save()方法,在0.15版本之后添加了insert_one()和inset_many()方法,具體可以看官方文檔:。

但是由於Django官方沒有將MongoDB列為建議使用的數據庫,所以不支持0.9之后的版本。

 

代碼:

 

插入一千條數據

插入方法:使用save()保存數據

耗時:大概2秒鍾

 

插入10萬條數據

插入方法:使用save()

耗時:兩分多鍾

 

二、使用pymongo

(1)測試1:插入一百萬數據

插入方法:insert_many()

耗時:28秒

 

代碼:

 

耗時時間:

 

插入結果:

 

(2)測試2:在一百萬條數據基礎上增加十萬數據

插入方法:insert_one()

耗時:1分鍾29秒

 

代碼:

 

耗時時間:

 

插入結果:

 

通過上面的測試,很明顯的看到,無論是使用Mongoengine的save()方法,還是使用pymongo的insert_one()方法,在大數據量的插入時都會耗費大量的時間,在百萬級別的數據就已經需要花費5-6個小時的時間了,顯然,這樣的效率是很低的。更別說千萬級別的數據了。

而使用pymongo的insert_many()方法,在插入百萬條數據只是花費了28秒,速度好像快得有點難以想象是吧?按照這樣的推算,千萬級別數據的數據也大概花費不到5分鍾就可以完成了。

 

那么為什么pymongo的原生方法insert_many()有這么高的效率呢?如何能更進一步提高效率呢?通過閱讀源碼和分析參數,來了解一下。

insert_many() 定義源碼:

def insert_many(self, documents, ordered=True,
             bypass_document_validation=False, session=None):

官方對參數的解析:

參數:

documents就是我們需要插入的數據文檔,也就是上文的articles

下面重點講ordered和bypass_document_validaion

1. ordered

默認情況下是True,即按順序來插入多條數據,如果發生錯誤,就會終止后面的插入。如果設置為False,文檔將以任意的順序將數據插入到服務器中,並且是並行進行的,客戶端會盡力將所有的數據都插入到服務器中。所以,設置為False會在數據的插入效率有很大的提升,但也要付出一點數據安全性的代價。

 

2. bypass_document_validation

默認情況為False。如果為True,那么允許在寫入發生錯誤的時候推出文檔級別的驗證,不影響后面的數據插入。

 

設置合適的參數值,可以更好地為海量數據的插入提供更好的插入環境。

 

筆者:

歡迎評論!希望本人的文章對閱讀者有幫助,在寫作過程中難免有疏漏,希望讀者在發現錯誤的地方及時向我提出,我會盡快修改自己的技術疏漏。我也會定時寫一些自己學習中的收獲和項目中的經驗。希望前行的路上,有更多樂於分享的人一起作伴。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM