工作中處理數據時,發現某個表的數據達近億條,所以要為表建索引提高查詢性能,以下兩篇文章總結的很好,記錄一下,以備后用。
數據庫建立索引常用的規則如下:
1、表的主鍵、外鍵必須有索引;
2、數據量超過300的表應該有索引;
3、經常與其他表進行連接的表,在連接字段上應該建立索引;
4、經常出現在Where子句中的字段,特別是大表的字段,應該建立索引;
5、索引應該建在選擇性高的字段上;
6、索引應該建在小字段上,對於大的文本字段甚至超長字段,不要建索引;
7、復合索引的建立需要進行仔細分析;盡量考慮用單字段索引代替:
A、正確選擇復合索引中的主列字段,一般是選擇性較好的字段;
B、復合索引的幾個字段是否經常同時以AND方式出現在Where子句中?單字段查詢是否極少甚至沒有?如果是,則可以建立復合索引;否則考慮單字段索引;
C、如果復合索引中包含的字段經常單獨出現在Where子句中,則分解為多個單字段索引;
E、如果既有單字段索引,又有這幾個字段上的復合索引,一般可以刪除復合索引;
8、頻繁進行數據操作的表,不要建立太多的索引;
9、刪除無用的索引,避免對執行計划造成負面影響;
以上是一些普遍的建立索引時的判斷依據。
索引的建立必須慎重,對每個索引的必要性都應該經過仔細分析,要有建立的依據。
因為太多的索引與不充分、不正確的索引對性能都毫無益處:在表上建立的每個索引都會增加存儲開銷,索引對於插入、刪除、更新操作也會增加處理上的開銷。 另外,過多的復合索引,在有單字段索引的情況下,一般都是沒有存在價值的;相反,還會降低數據增加刪除時的性能,特別是對頻繁更新的表來說,負面影響更大。
總的來說,小型表肯定不建索引,
或者數據庫記錄在億條數據級以上,還是建議使用非關系型數據庫。
還有些特殊字段的數據庫,比如BLOB,CLOB字段肯定也不適合建索引。
其實這個問題更感覺偏向於做軟件項目的一種經驗。
對千萬級MySQL數據庫建立索引的事項及提高性能的手段
一、注意事項:
首先,應當考慮表空間和磁盤空間是否足夠。我們知道索引也是一種數據,在建立索引的時候勢必也會占用大量表空間。因此在對一大表建立索引的時候首先應當考慮的是空間容量問題。
其次,在對建立索引的時候要對表進行加鎖,因此應當注意操作在業務空閑的時候進行。
二、性能調整方面:
首當其沖的考慮因素便是磁盤I/O。物理上,應當盡量把索引與數據分散到不同的磁盤上(不考慮陣列的情況)。邏輯上,數據表空間與索引表空間分開。這是在建索引時應當遵守的基本准則。
其次,我們知道,在建立索引的時候要對表進行全表的掃描工作,因此,應當考慮調大初始化參數db_file_multiblock_read_count的值。一般設置為32或更大。
再次,建立索引除了要進行全表掃描外同時還要對數據進行大量的排序操作,因此,應當調整排序區的大小。
9i之前,可以在session級別上加大sort_area_size的大小,比如設置為100m或者更大。
9i以后,如果初始化參數workarea_size_policy的值為TRUE,則排序區從pga_aggregate_target里自動分配獲得。
最后,建立索引的時候,可以加上nologging選項。以減少在建立索引過程中產生的大量redo,從而提高執行的速度。
MySql在建立索引優化時需要注意的問題
設計好MySql的索引可以讓你的數據庫飛起來,大大的提高數據庫效率。設計MySql索引的時候有以下幾點注意:
1,創建索引
對於查詢占主要的應用來說,索引顯得尤為重要。很多時候性能問題很簡單的就是因為我們忘了添加索引而造成的,或者說沒有添加更為有效的索引導致。如果不加索引的話,那么查找任何哪怕只是一條特定的數據都會進行一次全表掃描,如果一張表的數據量很大而符合條件的結果又很少,那么不加索引會引起致命的性能下降。但是也不是什么情況都非得建索引不可,比如性別可能就只有兩個值,建索引不僅沒什么優勢,還會影響到更新速度,這被稱為過度索引。
2,復合索引
比如有一條語句是這樣的:select * from users where area=’beijing’ and age=22;
如果我們是在area和age上分別創建單個索引的話,由於mysql查詢每次只能使用一個索引,所以雖然這樣已經相對不做索引時全表掃描提高了很多效 率,但是如果在area、age兩列上創建復合索引的話將帶來更高的效率。如果我們創建了(area, age, salary)的復合索引,那么其實相當於創建了(area,age,salary)、(area,age)、(area)三個索引,這被稱為最佳左前綴
特性。因此我們在創建復合索引時應該將最常用作限制條件的列放在最左邊,依次遞減。
3,索引不會包含有NULL值的列
只要列中包含有NULL值都將不會被包含在索引中,復合索引中只要有一列含有NULL值,那么這一列對於此復合索引就是無效的。所以我們在數據庫設計時不要讓字段的默認值為NULL。
4,使用短索引
對串列進行索引,如果可能應該指定一個前綴長度。例如,如果有一個CHAR(255)的 列,如果在前10 個或20 個字符內,多數值是惟一的,那么就不要對整個列進行索引。短索引不僅可以提高查詢速度而且可以節省磁盤空間和I/O操作。
5,排序的索引問題
mysql查詢只使用一個索引,因此如果where子句中已經使用了索引的話,那么order by中的列是不會使用索引的。因此數據庫默認排序可以符合要求的情況下不要使用排序操作;盡量不要包含多個列的排序,如果需要最好給這些列創建復合索引。
6,like語句操作
一般情況下不鼓勵使用like操作,如果非使用不可,如何使用也是一個問題。like “%a%” 不會使用索引而like “aaa%”可以使用索引。
7,不要在列上進行運算
select * from users where YEAR(adddate)
8,不使用NOT IN和操作
NOT IN操作不會使用索引將進行全表掃描。NOT IN可以NOT EXISTS代替
添加索引示例:
CREATE INDEX IDX_AUDITSTATUS ON [shanghaiDB].[dbo].[Activity](AUDITSTATUS) WITH(ONLINE=ON) CREATE INDEX IDX_ANUMMID ON [nantongDB].[dbo].[Orders](ANUM,MID) WITH(ONLINE=ON) CREATE INDEX IDX_SiteCode ON Usercenter.[dbo].MO(SiteCode) WITH(ONLINE=ON) CREATE INDEX IDX_AccessDt ON [all].[dbo].[AccessLog](AccessDt) WITH(ONLINE=ON)
Create index注意n如果是大表建立索引,切記加上ONLINE參數
這幾天在做數據庫的優化,有個2億記錄的表,發現需要添加一個聯合索引,結果就采用普通的create index index_name on tablename (entp_id,sell_date),結果悲劇了,把所有的DML語句都阻塞了,導致系統不能正常使用,還好是晚上10點,用戶不是非常多,1個小時候,索引結束,阻塞解決;
上網查了一下,如果加上 online參數后,就可以在線做索引,而不需要阻塞所有的DML語句,血的教訓,拿出來與各位共勉,具體online與不加online區別如下:
1. DML操作對create index 的影響。 如果在create的時候,有其他的進程在對這個index 所對應的數據進行DML操作,create會受影響:
SQL> create table test (id number, name varchar2(20)); Table created.
然后重新開一個session:
SQL> insert into test values (1,'lms'); 1 row created. <no commit> SQL> create index t1 on test(id); create index t1 on test(id) * ERROR at line 1: ORA-00054: resource busy and acquire with NOWAIT specified
2. 加online這個參數,這個參數加上以后,除了create過程中index 保持online狀態,Oracle還會在create index之前等待所有DML操作結束,然后得到DDL鎖,開始create.
SQL> create index t1 on test(id) online; <hold before commit> <after commit> SQL> commit; Commit complete. Index altered.
如果不commit,上面的操作就會一直hold。
所以以后create索引和rebuild索引的時候最好加上online。
轉自:https://blog.csdn.net/Su_Xingyu/article/details/79900290
ALTER TABLE article ADD INDEX index_article_title ON title(200);
CREATE TABLE `table` ( `id` int(11) NOT NULL AUTO_INCREMENT , `title` char(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL , `content` text CHARACTER SET utf8 COLLATE utf8_general_ci NULL , `time` int(10) NULL DEFAULT NULL , PRIMARY KEY (`id`), INDEX index_name (title(length)) )
DROP INDEX index_name ON table
#創建唯一索引
CREATE UNIQUE INDEX indexName ON TABLE(COLUMN(LENGTH))
ALTER TABLE table_name ADD UNIQUE indexName ON (COLUMN(LENGTH))
CREATE TABLE `table` ( `id` INT(11) NOT NULL AUTO_INCREMENT , `title` CHAR(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL , `content` TEXT CHARACTER SET utf8 COLLATE utf8_general_ci NULL , `time` INT(10) NULL DEFAULT NULL , PRIMARY KEY (`id`), UNIQUE indexName (title(LENGTH)) )
創建表的適合添加全文索引
CREATE TABLE `table` ( `id` int(11) NOT NULL AUTO_INCREMENT , `title` char(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL , `content` text CHARACTER SET utf8 COLLATE utf8_general_ci NULL , `time` int(10) NULL DEFAULT NULL , PRIMARY KEY (`id`), FULLTEXT INDEX index_name (column) )
ALTER TABLE article ADD FULLTEXT INDEX index_name (column)
CREATE FULLTEXT INDEX index_name ON article(column)
使用到上面的索引
SELECT * FROM article WHREE title='測試' AND time=1234567890; SELECT * FROM article WHREE utitle='測試';
SELECT * FROM article WHREE time=1234567890;
MySQL索引的優化
動作描述 | 使用聚集索引 | 使用非聚集索引 |
列經常被分組排序 | 使用 | 使用 |
返回某范圍內的數據 | 使用 | 不使用 |
一個或極少不同值 | 不使用 | 不使用 |
小數目的不同值 | 使用 | 不使用 |
大數目的不同值 | 不使用 | 使用 |
頻繁更新的列 | 不使用 | 使用 |
外鍵列 | 使用 | 使用 |
主鍵列 | 使用 | 使用 |
頻繁修改索引列 | 不使用 | 使用 |
事實上,我們可以通過前面聚集索引和非聚集索引的定義的例子來理解上表。如:返回某范圍內的數據一項。比如您的某個表有一個時間列,恰好您把聚合索引建立在了該列,這時您查詢2004年1月1日至2004年10月1日之間的全部數據時,這個速度就將是很快的,因為您的這本字典正文是按日期進行排序的,聚類索引只需要找到要檢索的所有數據中的開頭和結尾數據即可;而不像非聚集索引,必須先查到目錄中查到每一項數據對應的頁碼,然后再根據頁碼查到具體內容。