[基於oracle的sql優化]
基於oracle的sql優化
【博主】高瑞林
【博客地址】http://www.cnblogs.com/grl214
一．編寫初衷描述 |
在應有系統開發初期，由於數據庫數據較少，對於sql語句各種寫法的編寫體現不出sql的性能優劣，隨着數據的不斷增加，出現海量數據，劣質sql與優質sql在執行效率甚至存在百倍差距，可見sql優化的重要性
二．Sql語句性能優化 |
2.1 認識Oracle的執行過程
2.2 Oracle優化法則---漏斗法則
2.3 Oracle 執行計划
2.3.1 什么是Oracle執行計划
執行計划是一條查詢語句在Oracle中執行過程或者訪問路徑的描述.
2.3.2 查看Oracle執行計划
1.執行計划常用的列字段解釋
基數：返回的結果集行數
字節：執行該步驟后返回的字節數
耗費(cust),CPU耗費：Oracle估計的該步驟的執行成本，用於說明SQL執行的代價，理論上越小越好.
2.3.3 看懂Oracle執行計划
2.3.3.1執行順序
根據縮進來判斷，縮進最多的最先執行(縮進相同時，最上面的最先執行)
2.4 表的訪問方式
- TABLE ACCESS FULL(全表掃描)
- TABLE ACCESS BY ROWID(通過rowid的表存取)
- TABLE ACCESS BY INDEX SCAN(索引掃描)
2.4.1 ABLE ACCESS FULL(全表掃描)
Oracle會讀取表中的所有行，並檢查是否滿足where語句中條件；
使用建議：數據量太大的表不建議全表掃描
2.4.2 TABLE ACCESS BY ROWID(通過ROWID的表存取)
ROWID的解釋：oracle會自動加在表的每一行的最后一列偽列，表中並不會物理存儲ROWID的值，一旦一行數據插入后，則其對應的ROWID在該行的生命周期內是唯一的，即使發生行遷移，該行的ROWID值也不變。
2.4.3 TABLE ACCESS BY INDEX SCAN(索引掃描)
在索引塊中即存儲每個索引的鍵值，也存儲具有該鍵值所對的ROWID.
索引的掃描分兩步：首先是找到索引所對的ROWID，其次通過ROWID讀取改行數據
索引掃描又分五種：
- INDEX UNIQUE SCAN（索引唯一掃描）
- INDEX RANGE SCAN（索引范圍掃描）
- INDEX FULL SCAN（索引全掃描）
- INDEX FAST FULL SCAN（索引快速掃描）
- INDEX SKIP SCAN（索引跳躍掃描）
(a).INDEX UNIQUE SCAN（索引唯一掃描）：
針對唯一性索引（UNIQUE INDEX）的掃描，每次至多只返回一條記錄,主要針對該字段為主鍵或者唯一；
(b). INDEX RANGE SCAN（索引范圍掃描）
使用一個索引存取多行數據；
發生索引范圍掃描的三種情況：
- 在唯一索引列上使用了范圍操作符（如：> < <> >= <= between）
- 在組合索引上，只使用部分列進行查詢（查詢時必須包含前導列，否則會走全表掃描）
- 對非唯一索引列上進行的任何查詢
(c). INDEX FULL SCAN（索引全掃描）
- 進行全索引掃描時，查詢出的數據都必須從索引中可以直接得到
(d). INDEX FAST FULL SCAN（索引快速掃描）
- 掃描索引中的所有的數據塊，與 INDEX FULL SCAN 類似，但是一個顯著的區別是它不對查詢出的數據進行排序（即數據不是以排序順序被返回）
(e). INDEX SKIP SCAN（索引跳躍掃描）：
Oracle 9i后提供，有時候復合索引的前導列（索引包含的第一列）沒有在查詢語句中出現，oralce也會使用該復合索引，這時候就使用的INDEX SKIP SCAN;
當Oracle發現前導列的唯一值個數很少時，會將每個唯一值都作為常規掃描的入口，在此基礎上做一次查找，最后合並這些查詢；
例如：
假設表emp有ename（雇員名稱）、job（職位名）、sex（性別）三個字段，並且建立了如 create index idx_emp on emp (sex, ename, job) 的復合索引；
因為性別只有 '男' 和 '女' 兩個值，所以為了提高索引的利用率，Oracle可將這個復合索引拆成 ('男', ename, job)，('女', ename, job) 這兩個復合索引；
當查詢 select * from emp where job = 'Programmer' 時，該查詢發出后：
Oracle先進入sex為'男'的入口，這時候使用到了 ('男', ename, job) 這條復合索引，查找 job = 'Programmer' 的條目；
再進入sex為'女'的入口，這時候使用到了 ('女', ename, job) 這條復合索引，查找 job = 'Programmer' 的條目；
最后合並查詢到的來自兩個入口的結果集。
2.5 Sql語句的處理過程
1.在共享池中查找SQL語句
2.檢查語法
3.檢查語義和相關的權限
4.合並(MERGE)視圖定義和子查詢
5.確定執行計划
綁定(BIND)：
1.在語句中查找綁定變量
2.賦值(或重新賦值
執行(EXECUTE)：
1.應用執行計划
2.執行必要的I/O和排序操作
提取(FETCH)：
1.從查詢結果中返回記錄
2.必要時進行排序
3.使用ARRAY FETCH機制
共享游標：好處
1.減少解析
2.動態內存調整
3.提高內存使用率
2.5.1 Sql共享原理
Oracle將執行過程中的sql語句放在內存的共享池中，可以被所有的數據庫用戶共享到，當執行一條sql語句時，如果它和之前的sql執行語句完全相同時，oracle會快速獲取被解析的語句以及最好的執行路勁。
這塊系統屬於全局的區域，但是oracle只對簡單的表提供高速緩存，如果是多表的連接查詢，數據庫管理員必須在啟動參數文件中為該區域設置合適的參數，增加共享的可能性。
2.5.2 Sql共享的條件(注意事項)
1.執行語句必須與共享池語句完全一樣，包括(大小寫，空格，換行等).
2.兩條語句所指的對象必須完全相同。
3.兩個SQL語句綁定變量的名字必須相同。
例子：字符級的比較
SELECT * FROM UR_USER_INFO
Select * from ur_user_info
例子：相同的綁定變量名
select pay_fee,pay_method from bal_payment_info where pay_sn= : pay_sn;
select pay_fee,pay_method from bal_payment_info where pay_sn= : pay_no;
綁定變量不一樣，不能共享。
2.5.3共享sql區域
2.5.4 Sql解析與共享sql語句
當一個Oracle實例接收一條sql后
1、Create a Cursor 創建游標
2、Parse the Statement 分析語句
3、Describe Results of a Query 描述查詢的結果集
4、Define Output of a Query 定義查詢的輸出數據
5、Bind Any Variables 綁定變量
6、Parallelize the Statement 並行執行語句
7、Run the Statement 運行語句
8、Fetch Rows of a Query 取查詢出來的行
9、Close the Cursor 關閉游標
2.6 綁定變量
2.6.1 重編譯問題
例如：
select *from ur_user_info where contract_no = 32013484095139
下面這個語句每執行一次就需要在SHARE POOL 硬解析一
次，一百萬用戶就是一百萬次，消耗CPU和內存，如果業務
量大，很可能導致宕庫……
如果綁定變量，則只需要硬解析一次，重復調用即可
2.6.2 綁定變量解決重編譯問題
例如：
select *from ur_user_info where contract_no = 32013484095139
select *from ur_user_info where contract_no = 12013481213149
使用綁定變量
select *from ur_user_info where contract_no =：contract_no
2.6.3 綁定變量注意事項
a、不要使用數據庫級的變量綁定參數cursor_sharing來強
制綁定，無論其值為 force 還是similar
b、有些帶> < 的語句綁定變量后可能導致優化器無法正確
使用索引
2.5 SQL優化遵循的原則及注意事項
- 目標：
(1).SQL優化的一般性原則設計方面：
- 設計方面：
(1).盡量依賴oracle的優化器，並為其提供條件；
(2).合適的索引，索引的雙重效應，列的選擇性；
- 編碼方面：
(1).利用索引，避免大表FULL TABLE SCAN；
(2).合理使用臨時表；
(3).避免寫過於復雜的sql，不一定非要一個sql解決問題；
(4).在不影響業務的前提下減小事務的粒度；
2.5.1 IS NULL 與IS NOT NULL
任何sql語句只要在where語句后面添加is null或者is not null，那么oracl優化器將不再使用索引。
2.5.2 使用帶通配符（%）的語句
列舉兩個例子說明該問題：
查詢ur_user_info表中phone_no帶10的服務號碼
例子1：Select *from ur_user_info where phone_no like ‘%10%’；
例子2：Select *from ur_user_info where phone_no like ‘10%’；
由於例1中通配符（%）在搜尋詞首出現，所以oracle系統不使用phone_no的索引，通配符會降低查詢的效率，但當通配符不再首出現，又能使用索引，如例2所示。
三．ORACLE語句優化規則 |
3.1 選擇最有效的表名順序
例如：TAB1 1000條記錄， TAB2 1條記錄
選擇記錄最少的作為基表
Select count(*) from tab1,tab2;
如果有3個或者3個以上的表則選擇交叉表作為基表
3.2 where字句中的連接順序
oracle的解析按照從上而下解析，因此表之間的連接必須寫在where條件之前：
例如：
低效率：
select .. from
emp e
where sal > 50000 and job = 'manager'
and 25 < (select count(*) from emp where mgr=e.empno);
高效率：
select .. from
emp e
where 25 < (select count(*) from emp where mgr=e.empno)
and sal > 50000
and job = 'manager';
3.3 通配符’*’的使用
Sql在執行帶通配符的語句時，如果‘%’在首位，那么在字段上建立的主鍵或者索引將會失效！
應該避免類似語句的出現
Select name from user_info where name=’%A’;
3.4 使用truncate代替delete
當刪除表時，使用delete執行操作，回滾端用來存放可恢復的信息，當沒有提交事務的時候，執行回滾事務，數據會恢復到執行delete操作之前，而當用truncate是，回滾端則不會存放可恢復的信息，減少資源的調用。
3.5 用where字句替換HAVING字句
避免使用 HAVING 子句, HAVING 只會在檢索出所有記錄之后才對結果集進行過濾. 這個處理需要排序,總計等操作. 如果能通過 WHERE 子句限制記錄的數目,那就能減少這方面的開銷.
3.6 減少對表的查詢
低效：
Select tab_name from tables where tab_name = ( select
tab_name from tab_columns where version = 604) and db_ver=
( select db_ver from tab_columns where version = 604)
高效：
select tab_name from tables where (tab_name,db_ver) =
( select tab_name,db_ver) from tab_columns where version =604)
3.7 用in代替or
低效:
Select.. from location where loc_id = 10 or loc_id = 20 or loc_id = 30
高效:
Select..from location where loc_in in (10,20,30);
3.8 刪除重復數據
最高效的刪除重復記錄的方法
Delete from ur_user_info a
Where a.rowid>(select min(b.rowid)
From ur_user_info b
Where b. uid=a. uid);
3.9 避免使用耗費資源的操作
帶有DISTINCT,UNION,MINUS,INTERSECT,ORDER BY的SQL語句會啟動SQL引擎執行耗費資源的排序(SORT)功能. DISTINCT需要一次排序操作, 而其他的至少需要執行兩次排序.
例如,一個UNION查詢,其中每個查詢都帶有GROUP BY子句, GROUP BY會觸發嵌入排序(NESTED SORT) ; 這樣, 每個查詢需要執行一次排序, 然后在執行UNION時, 又一個唯一排序(SORT UNIQUE)操作被執行而且它只能在前面的嵌入排序結束后才能開始執行. 嵌入的排序的深度會大大影響查詢的效率.
3.10 自動選擇索引
如果表中有兩個以上（包括兩個）索引，其中有一個唯一性索引，而其他是非唯一性．在這種情況下，ORACLE將使用唯一性索引而完全忽略非唯一性索引．
舉例:
select ename from emp where empno = 2326 and deptno = 20 ;這里，只有empno上的索引是唯一性的，所以empno索引將用來檢索記錄．
table access by rowid on emp index unique scan on emp_no_idx；
3.11 至少要包含組合索引的第一列
如果索引是建立在多個列上, 只有在它的第一個列(leading column)被where子句引用時,優化器才會選擇使用該索引. 當僅引用索引的第二個列時,優化器使用了全表掃描而忽略了索引。
3.12 避免在索引列上使用函數
低效：
select ..
from dept
where sal * 12 > 25000;
高效:
select ..
from dept
where sal > 25000/12;
3.13 避免出現索引列自動轉換
當比較不同數據類型的數據時, ORACLE自動對列進行簡單的類型轉換.
假設EMP_TYPE是一個字符類型的索引列.
select user_no,user_name,address
from user_files
where user_no = 109204421
這個語句被ORACLE轉換為:
select user_no,user_name,address
from user_files
where to_number(user_no) = 109204421因為內部發生的類型轉換, 這個索引將不會被用到!
3.14 避免出現索引列自動轉換
如用 :
where a.order_no = b.order_no
不用 :
where to_number (substr(a.order_no, instr(b.order_no, '.') - 1)
= to_number (substr(a.order_no, instr(b.order_no, '.') - 1)
3.15 使用DECODE來減少處理時間
例如:
select count(*) sum(sal)
from emp
where dept_no = 0020
and ename like 'smith%';
select count(*) sum(sal)
from emp
where dept_no = 0030
and ename like 'smith%';
你可以用DECODE函數高效地得到相同結果
select count(decode(dept_no, 0020, 'x', null)) d0020_count,
count(decode(dept_no, 0030, 'x', null)) d0030_count,
sum(decode(dept_no, 0020, sal, null)) d0020_sal,
sum(decode(dept_no, 0030, sal, null)) d0030_sal
from emp
where ename like 'smith%';
3.16 減少對表的查詢
低效
select tab_name
from tables
where tab_name = ( select tab_name
from tab_columns
where version = 604)
and db_ver= ( select db_ver
from tab_columns
where version = 604)
高效
select tab_name
from tables
where (tab_name,db_ver)
= ( select tab_name,db_ver)
from tab_columns
where version = 604)
3.17 Order by語句
(a).ORDER BY語句決定了Oracle如何將返回的查詢結果排序。Order by語句對要排序的列沒有什么特別的限制，也可以將函數加入列中（象聯接或者附加等）。任何在Order by語句的非索引項或者有計算表達式都將降低查詢速度。
(b). order by語句以找出非索引項或者表達式，它們會降低性能。解決這個問題的辦法就是重寫order by語句以使用索引，也可以為所使用的列建立另外一個索引，同時應絕對避免在order by子句中使用表達式。
3.18 用索引提高效率
索引是表的一個概念部分,用來提高檢索數據的效率，ORACLE使用了一個復雜的自平衡B-tree結構. 通常,通過索引查詢數據比全表掃描要快. 當ORACLE找出執行查詢和Update語句的最佳路徑時, ORACLE優化器將使用索引. 同樣在聯結多個表時使用索引也可以提高效率. 另一個使用索引的好處是,它提供了主鍵(primary key)的唯一性驗證。通常, 在大型表中使用索引特別有效. 當然,你也會發現, 在掃描小表時,使用索引同樣能提高效率. 雖然使用索引能得到查詢效率的提高,但是我們也必須注意到它的代價. 索引需要空間來存儲,也需要定期維護, 每當有記錄在表中增減或索引列被修改時, 索引本身也會被修改. 這意味着每條記錄的INSERT , DELETE , UPDATE將為此多付出4 , 5 次的磁盤I/O . 因為索引需要額外的存儲空間和處理,那些不必要的索引反而會使查詢反應時間變慢.。定期的重構索引是有必要的。
3.19 避免在索引列上使用計算
WHERE子句中，如果索引列是函數的一部分．優化器將不使用索引而使用全表掃描．
低效：
SELECT … FROM DEPT WHERE SAL * 12 > 25000;
高效:
SELECT … FROM DEPT WHERE SAL > 25000/12;
3.20 用>= 替代 >
如果DEPTNO上有一個索引。
高效:
SELECT *
FROM EMP
WHERE DEPTNO >=4
低效:
SELECT *
FROM EMP
WHERE DEPTNO >3
3.21 通過使用>=、<=等，避免使用NOT命令
例子：
select * from employee where salary <> 3000;
對這個查詢，可以改寫為不使用NOT：
select * from employee where salary<3000 or salary>3000;
雖然這兩種查詢的結果一樣，但是第二種查詢方案會比第一種查詢方案更快些。第二種查詢允許Oracle對salary列使用索引，而第一種查詢則不能使用索引。
3.22 字符型字段的引號
比如有的表PHONE_NO字段是CHAR型,而且創建有索引，
但在WHERE條件中忘記了加引號，就不會用到索引。
WHERE PHONE_NO=‘13920202022’
WHERE PHONE_NO=13920202022
四．優化總結 |
a.創建表的時候。應盡量建立主鍵，盡量根據實際需要調整數據表的PCTFREE和PCTUSED參數；大數據表刪除，用truncate table代替delete。
b. 合理使用索引，在OLTP應用中一張表的索引不要太多。數據重復量大的列不要建立二叉樹索引，可以采用位圖索引；組合索引的列順序盡量與查詢條件列順序保持一致；對於數據操作頻繁的表，索引需要定期重建，以減少失效的索引和碎片。
c.查詢盡量用確定的列名，少用*號。
select count(key)from tab where key> 0性能優於select count(*)from tab；
d. 盡量少嵌套子查詢，這種查詢會消耗大量的CPU資源；對於有比較多or運算的查詢，建議分成多個查詢，用union all聯結起來；多表查詢的查詢語句中，選擇最有效率的表名順序。Oracle解析器對表解析從右到左，所以記錄少的表放在右邊。
e.盡量多用commit語句提交事務，可以及時釋放資源、解鎖、釋放日志空間、減少管理花費；在頻繁的、性能要求比較高的數據操作中，盡量避免遠程訪問，如數據庫鏈等，訪問頻繁的表可以常駐內存：alter table．．．cache；
f.在Oracle中動態執行SQL，盡量用execute方式，不用dbms_sql包。
參考文獻
《Oracle SQL 語句優化》 2010 作者：Black_Snail
《基於Oracle的SQL優化典型案例分析》2013作者：dbsnake @dbsnake
