mongodb查詢分頁優化 

 轉自：https://blog.csdn.net/chunqiuwei/article/details/11669885

項目中需要用mongodb來進行數據測存儲和查詢,其中涉及到分頁:分頁的要求如下

1)每頁顯示10條

由於數據量太大,cursor.count()獲取的符合條件的數據量也很大,導致分頁得分好幾萬頁,同時在項目中用到了skip加limit的分頁方式,使得性能變慢

所以通過討論使用了一下措施.即要求2

2)最多分5000頁,(其實用戶也不可能從第一頁一頁一頁的翻到6000頁去,一般情況下翻個幾十頁,查不到自己所要的數據,都會重新輸入查詢條件來再進行一次篩選)

 

經過前面的博客討論,可以知道分頁過程中用cursor.count()獲取符合條件的條數是很耗時的,在幾千萬條數據的壓力下,基本上點擊查詢等待時間不是一般的慢.

 

結合要求2,現在我們的分頁思路可以進行一下改動,思路的偽代碼如下

1)分頁查詢語句為:

   

DBCursor cursor = collection.find(query).skip((currentPage-1) * PAGESIZE).sort(new BasicDBObject("starttime", -1)).limit(PAGESIZE);//PAGESIZE=10

2)既然限制了最大頁數,那么可以知道skip的最大值就等於最大頁數*每頁顯示的條數,在這里是10*5000=50000條.那么核心思路也就由此而出

 

int  count = 0;

if(查詢的數量>50000){

  count = 5000;

}else{

   count =實際的數量

}

通過if條件可知,我們需要做這么一個判斷:判斷符合條件的數據量的大小是否大於50000

所以,在分頁查詢語句的后面可以添加這樣的一句代碼

 

DBCursor cursor2 = collection.find(query).skip(maxPage * PAGESIZE).limit(1);//maxPage=最大頁數,在這里是5000

這句代碼思路很簡單,就只直接skip跳過50000條數據進行查詢,如果能查到結果,就說明查詢的數據量大於50000條

所以上面的代碼改動如下

int count = 0;

if(cursor2.hasNext()){//說明數據量大於50000

   count = 50000;

}else{

   count = cursor.count();//在五萬條數據以內的情況下,這個速度還是挺快的

}

當然上面的語句也可以寫的更優雅一些

int count = cursor2.hasNext()? 50000:cursor.count();

方法有點:

多增加了一條查詢語句,進行最大條數的判斷,雖然說查詢語句增加了,但是結果顯示查詢效率確實有了很大的提高,因為這些查詢通過測試都是毫秒級的.易用性得到提高

方法缺點:

  限制了分頁的最大頁數,使得查詢結果顯示的不全,一定程序上影響了用戶的使用.