oracle並行模式(Parallel)


1.  用途


強行啟用並行度來執行當前SQL。這個在Oracle 9i之后的版本可以使用,之前的版本現在沒有環境進行測試。也就是說,加上這個說明,可以強行啟用Oracle的多線程處理功能。舉例的話,就像電腦裝了多核的CPU,但大多情況下都不會完全多核同時啟用(2核以上的比較明顯),使用parallel說明,就會多核同時工作,來提高效率。

但本身啟動這個功能,也是要消耗資源與性能的。所有,一般都會在返回記錄數大於100萬時使用,效果也會比較明顯。

2.  語法

/*+parallel(table_short_name,cash_number)*/

這個可以加到insert、delete、update、select的后面來使用(和rule的用法差不多,有機會再分享rule的用法)

開啟parallel功能的語句是:

alter session enable parallel dml;

這個語句是DML語句哦,如果在程序中用,用execute的方法打開。

3.  實例說明

用ERP中的transaction來說明下吧。這個table記錄了所有的transaction,而且每天數據量也算相對比較大的(根據企業自身業務量而定)。假設我們現在要查看對比去年一年當中每月的進、銷情況,所以,一般都會寫成:

select to_char(transaction_date,'yyyymm') txn_month,

       sum(

        decode(

            sign(transaction_quantity),1,transaction_quantity,0
              )

          ) in_qty,

       sum(

        decode(

            sign(transaction_quantity),-1,transaction_quantity,0
              )

          ) out_qty

  from mtl_material_transactions mmt

where transaction_date >= add_months(

                            to_date(    

                                to_char(sysdate,'yyyy')||'0101','yyyymmdd'),

                                -12)

   and transaction_date <= add_months(

                            to_date(

                                to_char(sysdate,'yyyy')||'1231','yyyymmdd'),

                                -12)

group by to_char(transaction_date,'yyyymm') 

這個SQL執行起來,如果transaction_date上面有加index的話,效率還算過的去;但如果沒有加index的話,估計就會半個小時內都執行不出來。這是就可以在select 后面加上parallel說明。例如:
select /*+parallel(mmt,10)*/
       to_char(transaction_date,'yyyymm') txn_month,

...



這樣的話,會大大提高執行效率。如果要將檢索出來的結果insert到另一個表tmp_count_tab的話,也可以寫成:
insert /*+parallel(t,10)*/
  into tmp_count_tab

(

    txn_month,

    in_qty,

    out_qty

)

select /*+parallel(mmt,10)*/
       to_char(transaction_date,'yyyymm') txn_month,

...



插入的機制和檢索機制差不多,所以,在insert后面加parallel也會加速的。關於insert機制,這里暫不說了。
Parallel后面的數字,越大,執行效率越高。不過,貌似跟server的配置還有oracle的配置有關,增大到一定值,效果就不明顯了。所以,一般用8,10,12,16的比較常見。我試過用30,發現和16的效果一樣。不過,數值越大,占用的資源也會相對增大的。如果是在一些package、function or procedure中寫的話,還是不要寫那么大,免得占用太多資源被DBA開K。
  

4.  Parallel也可以用於多表

多表的話,就是在第一后面,加入其他的就可以了。具體寫法如下:

/*+parallel(t,10) (b,10)*/

5.  小結

關於執行效率,建議還是多按照index的方法來提高效果。Oracle有自帶的explan road的方法,在執行之前,先看下執行計划路線,對寫好的SQL tuned之后再執行。實在沒辦法了,再用parallel方法。Parallel比較邪惡,對開發者而言,不是好東西,會養成不好習慣,導致很多bad SQL不會暴漏,SQL Tuning的能力得不到提升。我有見過某些人create table后,從不create index或primary key,認為寫SQL時加parallel就可以了。

==========================================================================================================================

關於Oracle 的並行執行,Oracle 官方文檔有詳細的說明:

                                Using Parallel Execution

http://download.oracle.com/docs/cd/E11882_01/server.112/e10837/parallel.htm#VLDBG010

This chapter covers tuning in a parallel execution environment and discusses the following topics:

 

一.     並行(Parallel)和OLAP系統

並行的實現機制是: 首先,Oracle 會創建一個進程用於協調並行服務進程之間的信息傳遞,這個協調進程將需要操作的數據集(比如表的數據塊)分割成很多部分,稱為並行處理單元,然后並行協調進程給每個並行進程分配一個數據單元。比如有四個並行服務進程,他們就會同時處理各自分配的單元,當一個並行服務進程處理完畢后,協調進程就會給它們分配另外的單元,如此反復,直到表上的數據都處理完畢,最后協調進程負責將每個小的集合合並為一個大集合作為最終的執行結果,返回給用戶。

 

並行處理的機制實際上就是把一個要掃描的數據集分成很多小數據集,Oracle 會啟動幾個並行服務進程同時處理這些小數據集,最后將這些結果匯總,作為最終的處理結果返回給用戶。

 

這種數據並行處理方式在OLAP系統中非常有用,OLAP系統的表通常來說都是非常大,如果系統的CPU比較多,讓所有的CPU共同來處理這些數據,效果就會比串行執行要高的多。

 

然而對於OLTP系統,通常來講,並行並不合適,原因是OLTP系統上幾乎在所有的SQL操作中,數據訪問路勁基本上以索引訪問為主,並且返回結果集非常小,這樣的SQL 操作的處理速度一般非常快,不需要啟用並行。

 

 

二. 並行處理的機制

                當Oracle 數據庫啟動的時候,實例會根據初始化參數:

                                PARALLEL_MIN_SERVERS=n

                的值來預先分配n個並行服務進程,當一條SQL 被CBO判斷為需要並行執行時發出SQL的會話進程變成並行協助進程,它按照並行執行度的值來分配進程服務器進程。

 

                首先協調進程會使用ORACLE 啟動時根據參數: parallel_min_servers=n的值啟動相應的並行服務進程,如果啟動的並行服務器進程數不足以滿足並行度要求的並行服務進程數,則並行協調進程將額外啟動並行服務進程以提供更多的並行服務進程來滿足執行的需求。 然后星星協調進程將要處理的對象划分成小數據片,分給並行服務進程處理;並行服務進程處理完畢后將結果發送給並行協調進程,然后由並行協調進程將處理結果匯總並發送給用戶。

 

                剛才講述的是一個並行處理的基本流程。 實際上,在一個並行執行的過程中,還存在着並行服務進程之間的通信問題。

                在一個並行服務進程需要做兩件事情的時候,它會再啟用一個進程來配和當前的進程完成一個工作,比如這樣的一條SQL語句:

                Select * from employees order by last_name;

               

                假設employees表中last_name 列上沒有索引,並且並行度為4,此時並行協調進程會分配4個並行服務進程對表employees進行全表掃描操作,因為需要對結果集進行排序,所以並行協調進程會額外啟用4個並行服務進程,用於處理4個進程傳送過來的數據,這新啟用的用戶處理傳遞過來數據的進程稱為父進程,用戶傳出數據(最初的4個並行服務進程)成為子進程,這樣整個並行處理過程就啟用了8個並行服務進程。 其中每個單獨的並行服務進程的行為叫作並行的內部操作,而並行服務進程之間的數據交流叫做並行的交互操作。

                這也是有時我們發現並行服務進程數量是並行度的2倍,就是因為啟動了並行服務父進程操作的緣故。

 

 

三. 讀懂一個並行處理的執行計划

 

CREATE TABLE emp2 AS SELECT * FROM employees;

ALTER TABLE emp2 PARALLEL 2;

 

EXPLAIN PLAN FOR

  SELECT SUM(salary) FROM emp2 GROUP BY department_id;

SELECT PLAN_TABLE_OUTPUT FROM TABLE(DBMS_XPLAN.DISPLAY());

 

--------------------------------------------------------------------------------------------------------

| Id  | Operation                | Name     | Rows  | Bytes | Cost (%CPU) |    TQ  |IN-OUT| PQ Distrib |

--------------------------------------------------------------------------------------------------------

|   0 | SELECT STATEMENT         |          |   107 |  2782 |     3 (34)  |        |      |            |

|   1 |  PX COORDINATOR          |          |       |       |             |        |      |            |

|   2 |   PX SEND QC (RANDOM)    | :TQ10001 |   107 |  2782 |     3 (34)  |  Q1,01 | P->S | QC (RAND)  |

|   3 |    HASH GROUP BY         |          |   107 |  2782 |     3 (34)  |  Q1,01 | PCWP |            |

|   4 |     PX RECEIVE           |          |   107 |  2782 |     3 (34)  |  Q1,01 | PCWP |            |

|   5 |      PX SEND HASH        | :TQ10000 |   107 |  2782 |     3 (34)  |  Q1,00 | P->P | HASH       |

|   6 |       HASH GROUP BY      |          |   107 |  2782 |     3 (34)  |  Q1,00 | PCWP |            |

|   7 |        PX BLOCK ITERATOR |          |   107 |  2782 |     2 (0)   |  Q1,00 | PCWP |            |

|   8 |         TABLE ACCESS FULL| EMP2     |   107 |  2782 |     2 (0)   |  Q1,00 | PCWP |            |

--------------------------------------------------------------------------------------------------------

 

The table EMP2 is scanned in parallel by one set of slaves while the aggregation for the GROUP BY is done by the second set. The PX BLOCK ITERATOR row source represents the splitting up of the table EMP2 into pieces so as to divide the scan workload between the parallel scan slaves. The PX SEND and PX RECEIVE row sources represent the pipe that connects the two slave sets as rows flow up from the parallel scan, get repartitioned through the HASH table queue, and then read by and aggregated on the top slave set. The PX SEND QC row source represents the aggregated values being sent to the QC in random (RAND) order. The PX COORDINATOR row source represents the QC or Query Coordinator which controls and schedules the parallel plan appearing below it in the plan tree.

 

                上面這段文字是從Oracle 聯機文檔上盪下來的。

http://download.oracle.com/docs/cd/E11882_01/server.112/e10821/ex_plan.htm#PFGRF94687

 

通過執行計划,我們來看一下它的執行步驟:

                (1)並行服務進程對EMP2表進行全表掃描。

                (2)並行服務進程以ITERATOR(迭代)方式訪問數據塊,也就是並行協調進程分給每個並行服務進程一個數據片,在這個數據片上,並行服務進程順序地訪問每個數據塊(Iterator),所有的並行服務進程將掃描的數據塊傳給另一組並行服務進程(父進程)用於做Hash Group操作。

                (3)並行服務父進程對子進程傳遞過來的數據做Hash Group操作。

                (4)並行服務進程(子進程)將處理完的數據發送出去。

                (5)並行服務進程(父進程)接收到處理過的數據。

                (6)合並處理過的數據,按照隨即的順序發給並行協調進程(QC:Query Conordinator)。

                (7)並行協調進程將處理結果發給用戶。

 

當使用了並行執行,SQL的執行計划中就會多出一列:in-out。 該列幫助我們理解數據流的執行方法。 它的一些值的含義如下:

Parallel to Serial(P->S): 表示一個並行操作發送數據給一個串行操作,通常是並行incheng將數據發送給並行調度進程。

Parallel to Parallel(P->P):表示一個並行操作向另一個並行操作發送數據,疆場是兩個從屬進程之間的數據交流。

Parallel Combined with parent(PCWP): 同一個從屬進程執行的並行操作,同時父操作也是並行的。

Parallel Combined with Child(PCWC): 同一個從屬進程執行的並行操作,子操作也是並行的。

Serial to Parallel(S->P): 一個串行操作發送數據給並行操作,如果select 部分是串行操作,就會出現這個情況。

 

 

四.並行執行等待事件

                在做並行執行方面的性能優化的時候,可能會遇到如下等待時間:

                                PX Deq Credit: send blkd

                這是一個有並行環境的數據庫中,從statspack 或者AWR中經常可以看到的等待事件。 在Oracle 9i 里面, 這個等待時間被列入空閑等待。 關於等待時間參考:

                Oracle 常見的33個等待事件

                http://blog.csdn.net/tianlesoftware/archive/2010/08/12/5807800.aspx

 

一般來說空閑等待可以忽略它,但是實際上空閑等待也是需要關注的,因為一個空閑的等待,它反映的是另外的資源已經超負荷運行了。 基於這個原因,在Oracle 10g里已經把PX Deq Credit: send blkd等待時間不在視為空閑等待,而是列入了Others 等待事件范圍。

 

PX Deq Credit: send blkd 等待事件的意思是: 當並行服務進程向並行協調進程QC(也可能是上一層的並行服務進程)發送消息時,同一時間只有一個並行服務進程可以向上層進程發送消息,這時候如果有其他的並行服務進程也要發送消息,就只能等待了。 知道獲得一個發送消息的信用信息(Credit),這時候會觸發這個等待事件,這個等待事件的超時時間為2秒鍾。

 

                如果我們啟動了太多的並行進程,實際上系統資源(CPU)或者QC 無法即時處理並行服務發送的數據,那么等待將不可避免。 對於這種情況,我們就需要降低並行處理的並行度。

 

                當出現PX Deq Credit:send blkd等待的時間很長時,我們可以通過平均等待時間來判斷等待事件是不是下層的並行服務進程空閑造成的。該等待事件的超時時間是2秒,如果平均等待時間也差不多是2秒,就說明是下層的並行進程“無事所做”,處於空閑狀態。 如果和2秒的差距很大,就說明不是下層並行服務超時導致的空閑等待,而是並行服務之間的競爭導致的,因為這個平均等待事件非常短,說明並行服務進程在很短時間的等待之后就可以獲取資源來處理數據。

所以對於非下層的並行進程造成的等待,解決的方法就是降低每個並行執行的並行度,比如對象(表,索引)上預設的並行度或者查詢Hint 指定的並行度。

 

 

五. 並行執行的使用范圍

Oracle的並行技術在下面的場景中可以使用:

(1)       Parallel Query(並行查詢)

(2)       Parallel DDL(並行DDL操作,如建表,建索引等)

(3)       Parallel DML(並行DML操作,如insert,update,delete等)

 

5.1 並行查詢

                並行查詢可以在查詢語句,子查詢語句中使用,但是不可以使用在一個遠程引用的對象上(如DBLINK)。

 

                一個查詢能夠並行執行,需要滿足一下條件:

(1)       SQL語句中有Hint提示,比如Parallel 或者 Parallel_index.

(2)       SQL語句中引用的對象被設置了並行屬性。

(3)       多表關聯中,至少有一個表執行全表掃描(Full table scan)或者跨分區的Index range SCAN。

 

如: select  /*+parallel(t 4) * from t;

 

5.2 並行DDL 操作

 

5.2.1 表操作的並行執行

                以下表操作可以使用並行執行:

CREATE TABLE … AS SELECT

       ALTER TABLE … move partition

       Alter table … split partition

       Alter table … coalesce partition

 

DDL操作,我們可以通過trace 文件來查看它的執行過程。

 

示例:

 

查看當前的trace 文件:

/* Formatted on 2010/8/31 23:33:00 (QP5 v5.115.810.9015) */

SELECT      u_dump.VALUE

         || '/'

         || db_name.VALUE

         || '_ora_'

         || v$process.spid

         || NVL2 (v$process.traceid, '_' || v$process.traceid, NULL)

         || '.trc'

            "Trace File"

  FROM            v$parameter u_dump

               CROSS JOIN

                  v$parameter db_name

            CROSS JOIN

               v$process

         JOIN

            v$session

         ON v$process.addr = v$session.paddr

 WHERE       u_dump.name = 'user_dump_dest'

         AND db_name.name = 'db_name'

         AND v$session.audsid = SYS_CONTEXT ('userenv', 'sessionid');

 

Trace File

------------------------------------------------------------------------------

d:/app/administrator/diag/rdbms/orcl/orcl/trace/orcl_ora_5836.trc

d:/app/administrator/diag/rdbms/orcl/orcl/trace/orcl_ora_3048.trc

 

SQL> alter session set events '10046 trace name context forever,level 12';

會話已更改。

SQL> create table 懷寧 parallel 4 as select * from dba_objects;

表已創建。

SQL> alter session set events '10046 trace name context off' ;

會話已更改。

 

這里用到了ORACLE的event 時間。 10046事件是用來跟蹤SQL語句的。開啟事件后,相關的信息會寫道trace 文件中,這也是之前我們查看trace 文件名的原因。 關於event事件,參考我的blog:

                Oracle 跟蹤事件 set event

                http://blog.csdn.net/tianlesoftware/archive/2009/12/13/4977827.aspx

 

有了trace文件, 我們可以用tkprof 工具,來查看trace 文件的內容。 關於tkprof 工具介紹,參考blog:

                使用 Tkprof 分析 ORACLE 跟蹤文件

                http://blog.csdn.net/tianlesoftware/archive/2010/05/29/5632003.aspx

 

 

進入trace 目錄,用tkprof命令生成txt 文件,然后查看txt 文件。

d:/app/Administrator/diag/rdbms/orcl/orcl/trace>tkprof orcl_ora_3048.trc 安慶.txt sys=no

TKPROF: Release 11.2.0.1.0 - Development on 星期二 8月 31 23:45:25 2010

Copyright (c) 1982, 2009, Oracle and/or its affiliates.  All rights reserved.

d:/app/Administrator/diag/rdbms/orcl/orcl/trace>

 

 

5.2.2 創建索引的並行執行

                創建索引時使用並行方式在系統資源充足的時候會使性能得到很大的提高,特別是在OLAP系統上對一些很大的表創建索引時更是如此。 以下的創建和更改索引的操作都可以使用並行:

                Create index

                Alter index … rebuild

                Alter index … rebuild partition

                Alter index … split partition

 

一個簡單的語法:create index t_ind on t(id) parallel 4;

 

監控這個過程和5.2.1 中表一樣,需要通過10046事件。 這里就不多說了。

 

有關減少創建時間方法,參考blog:

                如何加快建 index 索引 的時間

                http://blog.csdn.net/tianlesoftware/archive/2010/07/11/5664019.aspx

 

 

總結:

使用並行方式,不論是創建表,修改表,創建索引,重建索引,他們的機制都是一樣的,那就是Oracle 給每個並行服務進程分配一塊空間,每個進程在自己的空間里處理數據,最后將處理完畢的數據匯總,完成SQL的操作。

 

 

5.3 並行DML 操作

                Oracle 可以對DML操作使用並行執行,但是有很多限制。 如果我們要讓DML 操作使用並行執行,必須顯示地在會話里執行如下命令:

                SQL> alter session enable parallel dml;

會話已更改。

 

                只有執行了這個操作,Oracle 才會對之后符合並行條件的DML操作並行執行,如果沒有這個設定,即使SQL中指定了並行執行,Oracle也會忽略它。

 

5.3.1 delete,update和merge 操作

                Oracle 對Delete,update,merge的操作限制在,只有操作的對象是分區表示,Oracle 才會啟動並行操作。原因在於,對於分區表,Oracle 會對每個分區啟用一個並行服務進程同時進行數據處理,這對於非分區表來說是沒有意義的。

 

5.3.2 Insert 的並行操作

                實際上只有對於insert into … select … 這樣的SQL語句啟用並行才有意義。 對於insert into .. values… 並行沒有意義,因為這條語句本身就是一個單條記錄的操作。

 

                Insert 並行常用的語法是:

                                Insert /*+parallel(t 2) */ into t select /*+parallel(t1 2) */ * from t1;

 

                這條SQL 語句中,可以讓兩個操作insert 和select 分別使用並行,這兩個並行是相互獨立,互補干涉的,也可以單獨使用其中的一個並行。

 

 

六. 並行執行的設定

 

6.1 並行相關的初始話參數

 

6.1.1 parallel_min_servers=n

                在初始化參數中設置了這個值,Oracle 在啟動的時候就會預先啟動N個並行服務進程,當SQL執行並行操作時,並行協調進程首先根據並行度的值,在當前已經啟動的並行服務中條用n個並行服務進程,當並行度大於n時,Oracle將啟動額外的並行服務進程以滿足並行度要求的並行服務進程數量。

 

6.1.2 parallel_max_servers=n

                如果並行度的值大於parallel_min_servers或者當前可用的並行服務進程不能滿足SQL的並行執行要求,Oracle將額外創建新的並行服務進程,當前實例總共啟動的並行服務進程不能超過這個參數的設定值。

 

6.1.3 parallel_adaptive_multi_user=true|false

                Oracle 10g R2下,並行執行默認是啟用的。 這個參數的默認值為true,它讓Oracle根據SQL執行時系統的負載情況,動態地調整SQL的並行度,以取得最好的SQL    執行性能。

 

6.1.4 parallel_min_percent

                這個參數指定並行執行時,申請並行服務進程的最小值,它是一個百分比,比如我們設定這個值為50. 當一個SQL需要申請20個並行進程時,如果當前並行服務進程不足,按照這個參數的要求,這個SQL比如申請到20*50%=10個並行服務進程,如果不能夠申請到這個數量的並行服務,SQL 將報出一個ORA-12827的錯誤。

                當這個值設為Null時,表示所有的SQL在做並行執行時,至少要獲得兩個並行服務進程。

 

 

6.2 並行度的設定

                並行度可以通過以下三種方式來設定:

(1)使用Hint 指定並行度。

(2)使用alter session force parallel 設定並行度。

(3)使用SQL中引用的表或者索引上設定的並行度,原則上Oracle 使用這些對象中並行度最高的那個值作為當前執行的並行度。

 

 

示例:

                SQL>Select /*+parallel(t 4) */ count(*) from t;

                SQL>Alter table t parallel 4;

                SQL>Alter session force parallel query parallel 4;

 

Oracle 默認並行度計算方式:

(1)Oracle 根據CPU的個數,RAC實例的個數以及參數parallel_threads_per_cpu的值,計算出一個並行度。

(2)對於並行訪問分區操作,取需要訪問的分區數為並行度。

 

並行度的優先級別從高到低:

                Hint->alter session force parallel->表,索引上的設定-> 系統參數

 

 

實際上,並行只有才系統資源比較充足的情況下,才會取得很好的性能,如果系統負擔很重,不恰當的設置並行,反而會使性能大幅下降。

 

 

七. 直接加載

                在執行數據插入或者數據加載的時候,可以通過append hint的方式進行數據的直接加載。

 

在insert 的SQL中使用APPEND,如:

                                Insert /*+append */ into t select * from t1;

               

還可以在SQL*LOADER里面使用直接加載:

       Sqlldr userid=user/pwd control=load.ctl direct=true

 

Oracle 執行直接加載時,數據直接追加到數據段的最后,不需要花費時間在段中需找空間,數據不經過data buffer直接寫到數據文件中,效率要比傳統的加載方式高。

 

示例:

SQL> create table t as select * from user_tables;

表已創建。

SQL> select segment_name,extent_id,bytes from user_extents where segment_name='T';

SEGMENT_NA  EXTENT_ID      BYTES

---------- ---------- ----------

T                   0      65536

T                   1      65536

T                   2      65536

T                   3      65536

T                   4      65536

 

這里我們創建了一張表,分配了5個extents。

 

SQL> delete from t;

已刪除979行。

SQL> select segment_name,extent_id,bytes from user_extents where segment_name='T';

SEGMENT_NA  EXTENT_ID      BYTES

---------- ---------- ----------

T                   0      65536

T                   1      65536

T                   2      65536

T                   3      65536

T                   4      65536

 

這里刪除了表里的數據,但是查詢,依然占據5個extents。因為delete不會收縮表空間,不能降低高水位。

 

SQL> insert into t select * from user_tables;

已創建980行。

SQL> commit;

提交完成。

 

SQL> select segment_name,extent_id,bytes from user_extents where segment_name='T';

SEGMENT_NA  EXTENT_ID      BYTES

---------- ---------- ----------

T                   0      65536

T                   1      65536

T                   2      65536

T                   3      65536

T                   4      65536

 

用傳統方式插入,數據被分配到已有的空閑空間里。

 

 

SQL> delete from t;

已刪除980行。

SQL> commit;

提交完成。

SQL> select segment_name,extent_id,bytes from user_extents where segment_name='T';

SEGMENT_NA  EXTENT_ID      BYTES

---------- ---------- ----------

T                   0      65536

T                   1      65536

T                   2      65536

T                   3      65536

T                   4      65536

 

刪除數據,用append直接插入看一下。

 

SQL> insert /*+append */ into t select * from user_tables;

已創建980行。

SQL> commit;

提交完成。

SQL> select segment_name,extent_id,bytes from user_extents where segment_name='T';

SEGMENT_NA  EXTENT_ID      BYTES

---------- ---------- ----------

T                   0      65536

T                   1      65536

T                   2      65536

T                   3      65536

T                   4      65536

T                   5      65536

T                   6      65536

T                   7      65536

T                   8      65536

T                   9      65536

已選擇10行。

 

從結果可以看出,直接加載方式時,雖然表中有很多空的數據塊,Oracle 仍然會額外的分配4個extent用於直接加載數據。

                直接加載的數據放在表的高水位(High water Mark:hwm)以上,當直接加載完成后,Oracle 將表的高水位線移到新加入的數據之后,這樣新的數據就可以被用戶使用了。

 

Oracle 高水位(HWM)

http://blog.csdn.net/tianlesoftware/archive/2009/10/22/4707900.aspx

 

 

7.1 直接加載和REDO

                直接加載在logging模式下,與傳統加載方式產生的redo 日志差別不大,因為當一個表有logging屬性時,即使使用直接加載,所有改變的數據依然要產生redo,實際上是所有修改的數據塊全部記錄redo,以便於以后的恢復,這時候直接加載並沒有太大的優勢。

 

                直接加載最常見的是和nologging一起使用,這時候可以有效地減少redo 的生成量。 注意的是,在這種情況下,直接加載的數據塊是不產生redo的,只有一些其他改變的數據產生一些redo,比如表空間分配需要修改字典表或者修改段頭數據塊,這些修改會產生少量的redo。

 

                實際上,對於nologging 方式的直接加載,undo 的數據量也產生的很少,因為直接加載的數據並不會在回滾段中記錄,這些記錄位於高水位之上,在事務提交之前,對於其他用戶來說是不可見的,所以不需要產生undo,事務提交時,Oracle 將表的高水位線移到新的數據之后,如果事務回滾,只需要保持高水位線不動即可,就好像什么都沒有發生一樣。

 

                注意,由於在nologging模式下,redo 不記錄數據修改的信息,所以直接加載完后,需要立即進行相關的備份操作,因為這些數據沒有記錄在歸檔日志中,一旦數據損壞,只能用備份來恢復,而不能使用歸檔恢復。

 

Logging模式下示例:

SQL> set autot trace stat;

SQL> insert /*+append */ into t select * from user_tables;

已創建980行。

統計信息

----------------------------------------------------------

        132  recursive calls

         87  db block gets

       8967  consistent gets

          0  physical reads

     286572  redo size

        911  bytes sent via SQL*Net to client

       1017  bytes received via SQL*Net from client

          4  SQL*Net roundtrips to/from client

          2  sorts (memory)

          0  sorts (disk)

        980  rows processed

SQL> rollback;

回退已完成。

SQL> insert into t select * from user_tables;

已創建980行。

統計信息

----------------------------------------------------------

          0  recursive calls

        144  db block gets

       9027  consistent gets

          0  physical reads

     267448  redo size

        927  bytes sent via SQL*Net to client

       1004  bytes received via SQL*Net from client

          4  SQL*Net roundtrips to/from client

          2  sorts (memory)

          0  sorts (disk)

        980  rows processed

 

Nologging模式下示例:

SQL> alter table t nologging;

表已更改。

SQL> insert into t select * from user_tables;

已創建980行。

統計信息

----------------------------------------------------------

        239  recursive calls

        132  db block gets

       9061  consistent gets

          0  physical reads

     262896  redo size

        927  bytes sent via SQL*Net to client

       1004  bytes received via SQL*Net from client

          4  SQL*Net roundtrips to/from client

          7  sorts (memory)

          0  sorts (disk)

        980  rows processed

SQL> rollback;

回退已完成。

SQL> insert /*+append */ into t select * from user_tables;

已創建980行。

統計信息

----------------------------------------------------------

          8  recursive calls

         40  db block gets

       8938  consistent gets

          0  physical reads

        340  redo size  -- redo 減少很多

        911  bytes sent via SQL*Net to client

       1017  bytes received via SQL*Net from client

          4  SQL*Net roundtrips to/from client

          2  sorts (memory)

          0  sorts (disk)

        980  rows processed

 

這部分內容也可參考Blog:

                Oracle DML NOLOGGING

http://blog.csdn.net/tianlesoftware/archive/2010/07/11/5701596.aspx

 

 

7.2 直接加載和索引

                如果直接加載的表上有索引,Oracle不會像加載數據的方式那樣來處理索引的數據,但是它同樣需要維護一個索引,這個成本很高,同時會生成很多的redo。

                所以當使用直接加載時,通常是針對一些數據量非常大的表。如果這些表存在索引,將會帶來很大的性能影響,這時可以考慮先將索引disable或者drop掉,等加載數據后,之后在重新建立索引。

 

nologging示例:

 

SQL> insert /*+append */ into t select * from user_tables;

已創建980行。

 

統計信息

----------------------------------------------------------

          0  recursive calls

         40  db block gets

       8936  consistent gets

          0  physical reads

        384  redo size

        911  bytes sent via SQL*Net to client

       1017  bytes received via SQL*Net from client

          4  SQL*Net roundtrips to/from client

          2  sorts (memory)

          0  sorts (disk)

        980  rows processed

 

SQL> rollback;

回退已完成。

SQL> create index t_ind on t(table_name);

索引已創建。

SQL> insert /*+append */ into t select * from user_tables;

已創建980行。

 

統計信息

----------------------------------------------------------

         40  recursive calls

        170  db block gets

       8955  consistent gets

          4  physical reads

     149424  redo size

        911  bytes sent via SQL*Net to client

       1017  bytes received via SQL*Net from client

          4  SQL*Net roundtrips to/from client

          3  sorts (memory)

          0  sorts (disk)

        980  rows processed

SQL> rollback;

回退已完成。

SQL> insert  into t select * from user_tables;

已創建980行。

 

統計信息

----------------------------------------------------------

          8  recursive calls

        828  db block gets

       9037  consistent gets

          0  physical reads

     382832  redo size

        927  bytes sent via SQL*Net to client

       1005  bytes received via SQL*Net from client

          4  SQL*Net roundtrips to/from client

          2  sorts (memory)

          0  sorts (disk)

        980  rows processed

SQL> rollback;

回退已完成。

 

 

7.3 直接加載和並行

                直接加載可以和並行執行一同使用,這樣可以並行地向表中插入數據。 如:

               

SQL>alter session enable parallel dml;  -- 這里必須顯示的申明

SQL>insert /*+append parallel(t,2) */ into t select * from t1;

SQL>insert /*+append */ into t select * from t1;

 

注:在對insert 使用並行時,Oracle自動使用直接加載的方式進行數據加載,所以在這種情況下append是可以省略的。

 

                當使用並行加載時,Oracle 會按照並行度啟動相應數量的並行服務進程,像串行執行的直接加載的方式一樣,每個並行服務進程都單獨分配額外的空間用於加載數據,實際上Oracle 為每個並行服務進程分配了一個臨時段,每個並行服務進程將數據首先加載到各自的臨時段上,當所有的並行進程執行完畢后,將各自的數據塊合並到一起,放到高水位之后,如果事務提交,則將高水位移到新加載的數據之后。

 

 

7.4 直接加載和SQL*LOADER

                在SQL*LOADER中也可以使用直接加載,它比傳統方式效率更高,因為它繞開了SQL的解析和數據緩沖區,直接將數據加載到數據文件,這對OLAP或者數據倉庫系統非常有用。

 

指定加載:

                Sqlldr userid=user/pwd control=control.ctl direct=true

 

指定並行和加載:

                Sqlldr userid=user/pwd control=control.ctl direct=true parallel=true

 

 

SQL*LOADER直接加載對索引的影響:

(1)索引為非約束性,直接加載可以在加載完畢后維護索引的完整性。

(2)索引為約束性索引,比如主鍵,直接加載仍然會將數據加載入庫,但是會將索引置為unusable.

 

 

如果使用SQL*LOADER的並行直接加載選項,並且表上有索引,將導致加載失敗,這是我們可以在sqlloader中指定skip_index_maintenance=true, 來允許加載完成,但是索引狀態會變成unusable,需要手工rebuild.

 

關於SQL*LOADER的更多內容,參考blog:

                Oracle SQL Loader

                http://blog.csdn.net/tianlesoftware/archive/2009/10/16/4674063.aspx

 

zhaizi:ttp://blog.csdn.net/tianlesoftware/article/details/5854583

=========================================================================================================================

Oracle並行FAQ

關於Oracle並行的一些簡單小結。

Ø 什么是並行?

並行是Oracle為了提高大數據量的運算效率而提供多進程協作技術,它可以讓多個CPU同時處理一個計算任務,充分使用系統資源,提高計算效率。

Ø 什么操作支持並行?

大部分的DML(insert/update/delete/merge)、DDL、Query都支持並行操作。

Ø 什么情況下需要啟用並行?

並不是所有的SQL都應該使用並行。要使用並行需滿足以下兩個條件,否則結果可能適得其反:

1) 機器有充分的空閑資源(CPU、內存等)

2) 參與運算的數據量大。在當前系統初定於參與運算數據量大於10GB或者SQL運行時間超過30分鍾可考慮使用並行。

Ø 如何啟用並行?

 可以用hint、alter session或者設置對象並行屬性三種方式設置啟用並行。三種方式任意一種就可以使並行生效,如果多種方式同時存在的話,則優先級順序是:hint -> alter session -> table/index degree。

 

 

hint

alter session

table/index degree

Query

select /*+ parallel(a,8) */count(1) from table_name a;

alter session force query parallel 8;

 

select count(1) from table_name a;

alter table table_name parallel 8;

 

select count(1) from table_name a;

DML

默認情況下,parallel dml是禁用的,需要先用alter session啟用:

alter session enable parallel dml;

 

update /*+ parallel(a,8) */ table_name a set col1=1;

alter session force parallel dml parallel 8;

 

update table_name a set col1=1;

alter session enable parallel dml;

alter table table_name parallel 8;

update table_name a set col1=1;

以上三步缺一不可。

DDL

alter session force parallel ddl parallel 8;

create table table_name as select * from ……

 

create table table_name parallel 8 as select * from ……

 

create index index_name …… parallel 8;

 

注意:

1) 上述的alter session enable只是表示讓當前會話支持並行,最終並行需要通過hint或者table/index degree來實現;而alter session force表示強制並行,無需hint等配合使用。

2) 建議在hint或者alter session中控制並行,不要通過修改表或者索引的屬性(degree)來控制。在查詢頻繁的情況下,把表或者索引的並行度改大可能會導致嚴重的性能問題。

Ø 對於insert ……select ……如何設置並行?

insert……select….包含兩個部分,query和dml,可以為這兩個部分分別設置並行度。因為insert操作是dml,因此還需要通過alter session方式把pdml啟用,如:

 alter session enable parallel dml;

 insert /*+ append parallel(a,4) */ into table_a a

select /*+ parallel(b,8) */ * from table_b b where ……;

Ø 在存儲過程/包中如何啟用並行?

參考上文所述。唯一的區別是如果需要執行alter session,則需要用動態語句執行,如:

execute immediate ‘alter session enable parallel dml’;

Ø 並行度該設置多大?

一般來說,並行度越大SQL的執行效率越高,但是不建議設置超過CPU核數的並行度。在當前的RAC中,考慮到同時會有多個任務在跑,為了不影響其他任務,並行度需要嚴格控制在32個以下,一般的建議值是8和16。

另外,建議並行度設置為2的n次方,如2/4/8/16/32等。

Ø 既有DML又有query的SQL如何設置並行度?如insert …..select…..

1) 如果寫入量大,則在insert上加並行會明顯提升性能;否則在insert上加並行基本沒有什么意義。如:

insert into t(game_name,num) select game_name,count(1) cnt from popt_total_login_all_his group by game_name;

這種SQL主要瓶頸在查詢上,寫入量很少,因此只需要在查詢部分設置並行即可。

2) 如果查詢量大,則在查詢上加並行會明顯提升性能;

3) 如果寫入和查詢量都大,則在兩個部分都要加並行,不要讓其中一方成為瓶頸。

 總結起來就是:瓶頸在部分,就在這部分上加並行;如果都有瓶頸,則都加並行。

 對於pdml,建議:

1) 由於並行dml有諸多限制和弊端,因此在寫入量不大的情況下,盡量不啟用並行dml。

2) insert和query的並行度不一定要一致,可根據實際調整,一般設置query並行度大於等於insert並行度。並行度最好設置為2的n次方。

3) 並行度不要設置超過CPU的個數

Ø 如何查詢並行是否起作用?

1) 在SQL執行的時候,在PL/SQL DEV看是否有多個活動會話執行一個SQL

2) SQL執行完了以后,在同一個會話查詢v$pq_sesstat

SQL> select * from v$pq_sesstat;

 STATISTIC LAST_QUERY SESSION_TOTAL

------------------------------ ---------- -------------

Queries Parallelized 1 1

DML Parallelized 0 0

DDL Parallelized 0 0

 上面的結果中,如果last_query有非0的值,表示並行起作用了。

 其他方法先不告訴你了……

 Ø 如何控制並行度?

可以用hint、alter session以及table/index degree指定並行度,詳細請參考上文【如何啟用並行】部分。

 Ø 如何跨實例並行?

在當前的RAC環境,為了減少cache fusion,提高效率,默認情況把SQL並行限制在同一個節點執行。如果有超超大的SQL需要多個節點同時並行,則可以用如下語句來控制並行可跨越的實例:

alter session set parallel_instance_group=dw; --可跨越4個節點

alter session set parallel_instance_group=dw1; --限制在節點1執行

alter session set parallel_instance_group=dw12; --限制在節點1和2執行

alter session set parallel_instance_group=dw124; --限制在節點1/2/4三個節點執行

 以此類推。

 原則上不允許跨實例並行,如果必須跨實例,則使用前需征得DBA同意。

 Ø 為什么我的SQL達不到我設定的並行度?

並行度受以下(不限於)條件限制:

1) 系統的session、process參數的設定(一般不會超過)

2) parallel_max_serversx限制。這個限定目前是256,意味着一個節點最多啟動256個並行從屬進程。在多用戶多SQL同時執行的情況下,很容易達到這個上限。

3) 對於個人用戶,當前最多只允許4個或者10個連接同時訪問數據庫。這意味着個人用戶下,並行度不能超過4或者10。(systemuser等程序賬號不在此限制范圍之內)

 Ø 並行有什么弊端?

1) 並行dml會浪費空間,並行度越高,浪費越厲害

2) 被並行dml影響的表需要提交或者回滾后才能被后續的SQL使用,否則會報錯,這可能會影響事務的一致性。

3) 並行容易觸發異常或者bug,降低系統和程序的穩定性

================================================================================================================

一、Parallel

在Oracle中,PARALLEL(並行)方式最大化調用計算機資源來成倍提高數據分析效率。

1. 用途

強行啟用並行度來執行當前SQL。這個在Oracle 9i之后的版本可以使用,之前的版本現在沒有環境進行測試。也就是說,加上這個說明,可以強行啟用Oracle的多線程處理功能。舉例的話,就像電腦裝了多核的CPU,但大多情況下都不會完全多核同時啟用(2核以上的比較明顯),使用parallel說明,就會多核同時工作,來提高效率。
但本身啟動這個功能,也是要消耗資源與性能的。所有,一般都會在返回記錄數大於100萬時使用,效果也會比較明顯。

2. 語法

/*+parallel(table_short_name,cash_number)*/


這個可以加到insert、delete、update、select的后面來使用(和rule的用法差不多,有機會再分享rule的用法)

開啟parallel功能的語句是:

alter session enable parallel dml;

這個語句是DML語句哦,如果在程序中用,用execute的方法打開。

===========================================================================================================================

一、 並行查詢

並行查詢允許將一個sql select語句划分為多個較小的查詢,每個部分的查詢並發地運行,然后將各個部分的結果組合起來,提供最終的結果,多用於全表掃描,索引全掃描等,大表的掃描和連接、創建大的索引、分區索引掃描、大批量插入更新和刪除
 
1.    啟用並行查詢
SQL> ALTER TABLE T1 PARALLEL;
告知oracle,對T1啟用parallel查詢,但並行度要參照系統的資源負載狀況來確定。
利用hints提示,啟用並行,同時也可以告知明確的並行度,否則oracle自行決定啟用的並行度,這些提示只對該sql語句有效。
SQL> select /*+ parallel(t1 8) */ count(*)from t1;
 
SQL> select degree from user_tables where table_name='T1';
DEGREE
--------------------
  DEFAULT
 
並行度為Default,其值由下面2個參數決定
SQL> show parameter cpu
 
NAME                                TYPE       VALUE
----------------------------------------------- ------------------------------
cpu_count                           integer    2
parallel_threads_per_cpu            integer    2
 
cpu_count表示cpu數
parallel_threads_per_cpu表示每個cpu允許的並行進程數
default情況下,並行數為cpu_count*parallel_threads_per_cpu
 
2.    取消並行設置
SQL> alter table t1 noparallel;
SQL> select degree from user_tables wheretable_name='T1';
 
DEGREE
----------------------------------------
        1
 
3.    數據字典視圖
v$px_session
sid:各個並行會話的sid
qcsid:query coordinator sid,查詢協調器sid
 
二、 並行dml
並行dml包括insert,update,delete,merge,在pdml期間,oracle可以使用多個並行執行服務器來執行insert,update,delete,merge,多個會話同時執行,同時每個會話(並發進程)都有自己的undo段,都是獨立的一個事務,這些事務要么由pdml協調器進程提交,要么都rollback。
在一個有充足I/o帶寬的多cpu主機中,對於大規模的dml,速度可能會有很大的提升,尤其是在大型的數據倉庫環境中。
並行dml需要顯示的啟用
SQL> alter session enable parallel dml;
 
Disable並行dml
SQL> alter session disable parallel dml;
 
三、 並行ddl
並行ddl提供了dba使用全部機器資源的能力,常用的pddl有
create table as select ……
create index
alter index rebuild
alter table move
alter table split
在這些sql語句后面加上parallel子句

SQL> alter table t1 move parallel;
Table altered
SQL> create index T1_IDX on T1 (OWNER,OBJECT_TYPE)
 2   tablespace SYSTEM
3        parallel;
4        ;




1.  用途

強行啟用並行度來執行當前SQL。這個在Oracle 9i之后的版本可以使用,之前的版本現在沒有環境進行測試。也就是說,加上這個說明,可以強行啟用Oracle的多線程處理功能。舉例的話,就像電腦裝了多核的CPU,但大多情況下都不會完全多核同時啟用(2核以上的比較明顯),使用parallel說明,就會多核同時工作,來提高效率。

但本身啟動這個功能,也是要消耗資源與性能的。所有,一般都會在返回記錄數大於100萬時使用,效果也會比較明顯。

2.  語法

/*+parallel(table_short_name,cash_number)*/

這個可以加到insert、delete、update、select的后面來使用(和rule的用法差不多,有機會再分享rule的用法)

開啟parallel功能的語句是:

alter session enable parallel dml;

這個語句是DML語句哦,如果在程序中用,用execute的方法打開。

 

4.  Parallel也可以用於多表

多表的話,就是在第一后面,加入其他的就可以了。具體寫法如下:

/*+parallel(t,10) (b,10)*/

5.  小結

關於執行效率,建議還是多按照index的方法來提高效果。Oracle有自帶的explan road的方法,在執行之前,先看下執行計划路線,對寫好的SQL tuned之后再執行。實在沒辦法了,再用parallel方法。Parallel比較邪惡,對開發者而言,不是好東西,會養成不好習慣,導致很多bad SQL不會暴漏,SQL Tuning的能力得不到提升。我有見過某些人create table后,從不create index或primary key,認為寫SQL時加parallel就可以了。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM