MySQL大數據量分頁查詢方法及其優化


一、大數據量分頁查詢方法:

1、直接使用數據庫提供的SQL語句

  語句樣式: MySQL中,可用如下方法: SELECT * FROM 表名稱 LIMIT M,N

  適應場景: 適用於數據量較少的情況(元組百/千級)

  原因/缺點: 全表掃描,速度會很慢,且有的數據庫結果集返回不穩定(如某次返回1,2,3,另外的一次返回2,1,3),Limit限制的是從結果集的M位置處取出N條輸出,其余拋棄。

//是用limit函數 //取前5條數據
select * from table_name limit 0,5 
//或者
select * from table_name limit 5 

//查詢第11到第15條數據
select * from table_name limit 10,5

  limit關鍵字的用法:LIMIT [offset,] rows

  offset指定要返回的第一行的偏移量,rows第二個指定返回行的最大數目。初始行的偏移量是0(不是1)

2、建立主鍵或唯一索引, 利用索引(假設每頁10條)

  語句樣式:可用如下方法:SELECT * FROM 表名稱 WHERE id_pk > (pageNum*10) LIMIT M

  適應場景:適用於數據量多的情況(元組數上萬)

  原因:索引掃描,速度會很快。有朋友提出:因為數據查詢出來並不是按照pk_id排序的,所以會有漏掉數據的情況,只能方法3

3、基於索引再排序

  語句樣式:可用如下方法: SELECT * FROM 表名稱 WHERE id_pk > (pageNum*10) ORDER BY id_pk ASC LIMIT M

  適應場景: 適用於數據量多的情況(元組數上萬),最好ORDER BY后的列對象是主鍵或唯一索引,使得ORDER BY操作能利用索引被消除但結果集是穩定的

  原因:索引掃描,速度會很快。

4、基於索引使用prepare(第一個問號表示pageNum,第二個?表示每頁元組數)

  語句樣式:MySQL中,可用如下方法: PREPARE stmt_name FROM SELECT * FROM 表名稱 WHERE id_pk > (?* ?) ORDER BY id_pk ASC LIMIT M

  適應場景:大數據量

  原因:索引掃描,速度會很快。prepare語句又比一般的查詢語句快一點。

5、利用MySQL支持ORDER操作可以利用索引快速定位部分元組,避免全表掃描

  比如: 讀第1000到1019行元組(pk是主鍵/唯一鍵).

  SELECT * FROM your_table WHERE pk>=1000 ORDER BY pk ASC LIMIT 0,20

6、利用"子查詢/連接+索引"快速定位元組的位置,然后再讀取元組。

  道理同方法5。如(id是主鍵/唯一鍵,$page、$pagesize是變量):

利用子查詢示例:

SELECT * FROM your_table WHERE id <= 
(SELECT id FROM your_table ORDER BY id desc LIMIT ($page-1)*$pagesize ORDER BY id desc LIMIT $pagesize

利用連接示例:

SELECT * FROM your_table AS t1 
JOIN (SELECT id FROM your_table ORDER BY id desc LIMIT ($page-1)*$pagesize AS t2 
WHERE t1.id <= t2.id ORDER BY t1.id desc LIMIT $pagesize;

二、優化方式

  mysql大數據量使用limit分頁,隨着頁碼的增大,查詢效率越低下。

1、直接用limit start, count分頁語句:

  select * from product limit start, count

  當起始頁較小時,查詢沒有性能問題,我們分別看下從10, 100, 1000, 10000開始分頁的執行時間(每頁取20條), 如下:

select * from product limit 10, 20   0.016秒 select * from product limit 100, 20   0.016秒 select * from product limit 1000, 20   0.047秒 select * from product limit 10000, 20   0.094秒 //我們已經看出隨着起始記錄的增加,時間也隨着增大, 這說明分頁語句limit跟起始頁碼是有很大關系的,那么我們把起始記錄改為40w看下(也就是記錄的一般左右) 

select * from product limit 400000, 20   3.229秒 //再看我們取最后一頁記錄的時間
select * from product limit 866613, 20   37.44秒 //像這種分頁最大的頁碼頁顯然這種時間是無法忍受的。

  從中我們也能總結出兩件事情:

  (1)limit語句的查詢時間與起始記錄的位置成正比

  (2)mysql的limit語句是很方便,但是對記錄很多的表並不適合直接使用。

2、對limit分頁問題的性能優化方法

  利用表的覆蓋索引來加速分頁查詢:我們都知道,利用了索引查詢的語句中如果只包含了那個索引列(覆蓋索引),那么這種情況會查詢很快。

  因為利用索引查找有優化算法,且數據就在查詢索引上面,不用再去找相關的數據地址了,這樣節省了很多時間。另外Mysql中也有相關的索引緩存,在並發高的時候利用緩存就效果更好了。

  在我們的例子中,我們知道id字段是主鍵,自然就包含了默認的主鍵索引。現在讓我們看看利用覆蓋索引的查詢效果如何:

//這次我們之間查詢最后一頁的數據(利用覆蓋索引,只包含id列),如下:
select id from product limit 866613, 20 0.2秒 //相對於查詢了所有列的37.44秒,提升了大概100多倍的速度 //那么如果我們也要查詢所有列,有兩種方法, //一種是id>=的形式, //另一種就是利用join,看下實際情況:
 SELECT * FROM product WHERE ID > =(select id from product limit 866613, 1) limit 20
//查詢時間為0.2秒! //另一種寫法
SELECT * FROM product a JOIN (select id from product limit 866613, 20) b ON a.ID = b.id //查詢時間也很短!

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM