MYSQL千萬級數據量的優化方法積累


轉載http://blog.sina.com.cn/s/blog_85ead02a0101csci.html

1、分庫分表
很明顯,一個主表(也就是很重要的表,例如用戶表)無限制的增長勢必嚴重影響性能,分庫與分表是一個很不錯的解決途徑,也就是性能優化途徑,現在的案例是我們有一個1000多萬條記錄的用戶表members,查詢起來非常之慢,同事的做法是將其散列到100個表中,分別從members0到members99,然后根據mid分發記錄到這些表中,牛逼的代碼大概是這樣子:
<?php
for($i=0;$i< 100; $i++ ){
     //echo "CREATE TABLE db2.members{$i} LIKE db1.members<br>";
     echo "INSERT INTO members{$i} SELECT * FROM members WHERE mid0={$i}<br>";
}
?>
 
2、不停機修改mysql表結構
同樣還是members表,前期設計的表結構不盡合理,隨着數據庫不斷運行,其冗余數據也是增長巨大,同事使用了下面的方法來處理:
先創建一個臨時表:
CREATE TABLE members_tmp LIKE members
然后修改members_tmp的表結構為新結構,接着使用上面那個for循環來導出數據,因為1000萬的數據一次性導出是不對的,mid是主鍵,一個區間一個區間的導,基本是一次導出5萬條吧,這里略去了
接着重命名將新表替換上去:
RENAME TABLE members TO members_bak,members_tmp TO members;
就是這樣,基本可以做到無損失,無需停機更新表結構,但實際上RENAME期間表是被鎖死的,所以選擇在線少的時候操作是一個技巧。經過這個操作,使得原先8G多的表,一下子變成了2G多
 
另外還講到了mysql中float字段類型的時候出現的詭異現象,就是在pma中看到的數字根本不能作為條件來查詢


3、常用SQL語句優化:

  1.       數據庫(表)設計合理

我們的表設計要符合3NF   3范式(規范的模式) , 有時我們需要適當的逆范式

  1.       sql語句的優化(索引,常用小技巧.)
  2.       數據的配置(緩存設大)
  3.       適當硬件配置和操作系統 (讀寫分離.)

數據的3NF

1NF :就是具有原子性,不可分割.(只要使用的是關系性數據庫,就自動符合)

2NF: 在滿足1NF 的基礎上,我們考慮是否滿足2NF: 只要表的記錄滿足唯一性,也是說,你的同一張表,不可能出現完全相同的記錄, 一般說我們在 表中設計一個主鍵即可.

3NF: 在滿足2NF 的基礎上,我們考慮是否滿足3NF:即我們的字段信息可以通過關聯的關系,派生即可.(通常我們通過外鍵來處理)

逆范式: 為什么需呀逆范式:

(相冊的功能對應數據庫的設計)

適當的逆范式.

 

sql語句的優化

sql語句有幾類

ddl (數據定義語言) [create alter drop]

dml(數據操作語言)[insert delete upate ]

select

dtl(數據事務語句) [commit rollback savepoint]

dcl(數據控制語句) [grant  revoke]

show status命令

該命令可以顯示你的mysql數據庫的當前狀態.我們主要關心的是 “com”開頭的指令

show status like ‘Com%’  <=> show session  status like ‘Com%’  //顯示當前控制台的情況

show global  status like ‘Com%’ ; //顯示數據庫從啟動到 查詢的次數

顯示連接數據庫次數

show status like  'Connections';

這里我們優化的重點是在 慢查詢. (在默認情況下是10 ) mysql5.5.19

 

顯示查看慢查詢的情況

show variables like ‘long_query_time’

 

為了教學,我們搞一個海量表(mysql存儲過程)

目的,就是看看怎樣處理,在海量表中,查詢的速度很快!

select * from emp where empno=123456;

需求:如何在一個項目中,找到慢查詢的select , mysql數據庫支持把慢查詢語句,記錄到日志中,程序員分析. (但是注意,默認情況下不啟動.)

步驟:

  1.       要這樣啟動mysql

進入到 mysql安裝目錄

2.  啟動 xx>bin\mysqld.exe –slow-query-log   這點注意

測試 ,比如我們把

select * from emp where empno=34678 ;

用了1.5秒,我現在優化.

 

快速體驗: 在emp表的 empno建立索引.

alter table emp add primary key(empno);

//刪除主鍵索引

alter table emp drop primary key

然后,再查速度變快.

l         索引的原理

 

介紹一款非常重要工具explain, 這個分析工具可以對 sql語句進行分析,可以預測你的sql執行的效率.

他的基本用法是:

explain sql語句\G

//根據返回的信息,我們可知,該sql語句是否使用索引,從多少記錄中取出,可以看到排序的方式.

 

l         在什么列上添加索引比較合適

 

①     在經常查詢的列上加索引.

②     列的數據,內容就只有少數幾個值,不太適合加索引.

③     內容頻繁變化,不合適加索引

 

l         索引的種類

①     主鍵索引 (把某列設為主鍵,則就是主鍵索引)

②     唯一索引(unique) (即該列具有唯一性,同時又是索引)

③     index (普通索引)

④     全文索引(FULLTEXT)

select * from article where content like ‘%李連傑%’;

hello, i am a boy

l       你好,我是一個男孩  =>中文 sphinx

 

⑤     復合索引(多列和在一起)

create index myind on 表名 (列1,列2);

 

l         如何創建索引

如果創建unique / 普通/fulltext 索引

1. create [unique|FULLTEXT] index 索引名 on 表名 (列名...)

2. alter table 表名 add index 索引名 (列名...)

//如果要添加主鍵索引

alter table 表名 add primary key (列...)

 

刪除索引

  1.       drop index 索引名 on 表名
  2.       alter table 表名 drop index index_name;
  3.       alter table 表名 drop primary key

顯示索引

       show index(es) from 表名

       show keys from 表名

       desc 表名

 

如何查詢某表的索引

show indexes from 表名

 

l         使用索引的注意事項

查詢要使用索引最重要的條件是查詢條件中需要使用索引。

下列幾種情況下有可能使用到索引:
1,對於創建的多列索引,只要查詢條件使用了最左邊的列,索引一般就會被使用。
2,對於使用like的查詢,查詢如果是  ‘�a’ 不會使用到索引 aaa%’ 會使用到索引。

下列的表將不使用索引:
1,如果條件中有or,即使其中有條件帶索引也不會使用。
2,對於多列索引,不是使用的第一部分,則不會使用索引。
3,like查詢是以%開頭
4,如果列類型是字符串,那一定要在條件中將數據使用引號引用起來。否則不使用索引。
5,如果mysql估計使用全表掃描要比使用索引快,則不使用索引。

l         如何檢測你的索引是否有效

 

結論: Handler_read_key 越大越少

Handler_read_rnd_next 越小越好

fdisk

find

 

l         MyISAM 和 Innodb區別是什么

  1. MyISAM 不支持外鍵, Innodb支持
  2. MyISAM 不支持事務,不支持外鍵.
  3. 對數據信息的存儲處理方式不同.(如果存儲引擎是MyISAM的,則創建一張表,對於三個文件..,如果是Innodb則只有一張文件 *.frm,數據存放到ibdata1)

 

對於 MyISAM 數據庫,需要定時清理

optimize table 表名

 

l         常見的sql優化手法

  1.       使用order by null  禁用排序

比如 select * from dept group by ename order by null

  1.       在精度要求高的應用中,建議使用定點數(decimal)來存儲數值,以保證結果的准確性

3.  如果字段是字符類型的索引,用作條件查詢時一定要加單引號,不然索引無效。

4.  主鍵索引如果沒用到,再查詢for update這種情況,會造成表鎖定。容易造成卡死。

1000000.32 萬

create table sal(t1 float(10,2));

create table sal2(t1 decimal(10,2));

 

問?在php中 ,int 如果是一個有符號數,最大值. int- 4*8=32   2 31 -1

l         表的水平划分

 

 

l         垂直分割表

如果你的數據庫的存儲引擎是MyISAM的,則當創建一個表,后三個文件. *.frm 記錄表結構. *.myd 數據  *.myi 這個是索引.

mysql5.5.19的版本,他的數據庫文件,默認放在 (看 my.ini文件中的配置.)

l         讀寫分離


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM