ORACLE expdp/impdp詳解(轉)


ORCALE10G提供了新的導入導出工具,數據泵。
Oracle官方對此的形容是:Oracle DataPump technology enables Very High-Speed movement of data and metadata from one database to another.其中Very High-Speed是亮點。
先說數據泵提供的主要特性(包括,但不限於):
1. 支持並行處理導入、導出任務
2. 支持暫停和重啟動導入、導出任務
3. 支持通過Database Link的方式導出或導入遠端數據庫中的對象
4. 支持在導入時通過Remap_schema、Remap_datafile、Remap_tablespace幾個參數實現導入過程中自動修改對象屬主、 數據文件或數據所在表空間。
5. 導入/導出時提供了非常細粒度的對象控制。通過Include、Exclude兩個參數,甚至可以詳細制定是否包含或不包含某個對象。
Warning:
1. 什么是Directory對象
Directory對象是Oracle10g版本提供的一個新功能。他是一個 指向,指向了操作系統中的一個路徑。每個Directory都包含 Read,Write兩個權限,可以通過Grant命令授權給指定的用戶或角色。擁有讀寫權限的用戶就可以讀寫該Directory對象指定的操作系統路 徑下的文件。
2. 除了使用network_link參數意外,expdp生成的文件都是在服務器上(Directory指定的位置)
如何調用
1. 命令行方式
最簡單的調用,但是寫的參數有限,建議使用參數文件的方式。
2. 參數文件方式
最常用的方式。通常需要先編寫一個參數文件。指定導出時需要的各種參數。然后以如下方式調用。
expdp user/pwd parfile=xxx.par
這個xxx.par即是我們編輯的參數文件。注意,在這個命令行后面,同樣可以再跟別的參數, 甚至是在par參數文件中指定過的參數。如果執行命令中附加 的參數與參數文件中的參數有重復,最終采用哪個參數,會以參數最后出現的位置而定。如:expdp user/pwd parfile=xxx.par logfile=a.log,如果在參數文件中也指定了logfile,這里會以命令行中的logfile為准;如:expdp user/pwd logfile=a.log parfile=xxx.par,而這個,則會以參數文件中的為准,因為parfile=xxx.par寫在命令行的后面。
3. 交互方式
Data Pump導入導出任務支持停止,重啟等狀態操作。如用戶執行導入或者導出任務,執行了一半時,使用Crtl+C中斷了任務(或其他原因導致的中斷),此時 任務並不是被取消,而是被轉移到后台。可以再次使用expdp/impdp命令,附加attach參數的方式重新連接到中斷的任務中,並選擇后續的操作。 這就是交互方式。
Warning : 什么是attach參數,每執行一個導入,或者導出,在命令的第一行,會有以下信息:Starting “BAM”.”SYS_EXPORT_SCHEMA_01″:  bam/******** parfile=expdp_tbs.par,這個SYS_EXPORT_SCHEMA_01就是我們的attach參數。
-bash-3.00$ expdp bam/bam parfile=expdp_tbs.par
Export: Release 10.2.0.4.0 – 64bit Production on Friday, 13 August, 2010 16:35:18
Copyright (c) 2003, 2007, Oracle.  All rights reserved.
Connected to: Oracle Database 10g Enterprise Edition Release 10.2.0.4.0 – 64bit Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options
Starting “BAM”.”SYS_EXPORT_SCHEMA_01″:  bam/******** parfile=expdp_tbs.par
如果想使用交互方式,可以使用如:expdp attach SYS_EXPORT_SCHEMA_01 進入到交互模式
操作模式
1. 全庫模式
導入或者導出整個數據庫,對應impdp/expdp命令中的full參數,只有擁有dba或者 exp_full_database和imp_full_database權限的用戶才能執行。
2. Schema模式
導出或導入Schema下的自有對象,對應impdp/expdp命令中的Schema參數,這是默認的操作模式。 如果擁有dba或者 exp_full_database和imp_full_database權限的用戶執行的話,就可以導出或導入多個Schema中的對象。
3. 表模式
導出指定的表或者表分區(如果有分區的話)以及依賴該表的對象(如該表的索引,約束等,不過前提是這些對象在同一個 Schema中,或者執行的用戶有相應的權限)。對應impdp/expdp命令中的Table參數。
4. 表空間模式
導出指定的表空間中的內容。對應impdp/expdp中的Tablespaces參數,這種模式類似於表模式和 Schema模式的補充。
5. 傳輸表空間模式
對應impdp/expdp中的Transport_tablespaces參數。這種模式與前面幾種模式最顯著的區 別是生成的Dump文件中並不包含具 體的邏輯數據,而只導出相關對象的元數據(即對象的定義,可以理解成表的創建語句),邏輯數據仍然在表空間的數據文件中,導出時需要將元數據和數據文件同 時復制到目標端服務器。
這種導出方式效率很高,時間開銷主要是花在復制數據文件產生的I/O上。expdp執行傳輸表空間模式的導出,用戶必須 擁有 exp_full_database角色或者DBA角色。而通過傳輸表空間模式導入時,用戶必須擁有imp_full_database角色或者DBA角 色。
過濾數據
過濾數據主要依賴於Query和Sample兩個參數。其中Sample參數主要針對expdp導出功能。
1. Query
與exp命令中的Query功能類似,不過Expdp中,該參數功能得到了增強,控制的粒度更細。Expdp中的Query也是指定類 似where語句來限定記錄。語法如下:
Query = [Schema.][Table_name:] Query_clause
默認 情況如果不指定Schema.table_name,則Query_clause針對所有導出的表有效,或者你可以為每一個表指定不同的 Query_clause,如:導出a表中所有id<5的記錄,導出b表中所有name=’a’的記錄,則Query的參數應該如下:
Query=A:”Where id<5″,B:”Where name=’a’”
如果Where條件前沒有指定Schema名或者表名的話,默認就是針對當前所有要被 導出的表。如:Query=Where id <5
Warning: 建議把Query參數放入到參數文件中使用,以避免轉義符帶來的麻煩。
2. Sample
該參數用來指定導出數據的百分比,可指定的值的范圍從0.000001到99.999999,語法如下:
Sample=[[Schema_name.]Table_name:]sample_percent
指 定該參數以后,EXPDP導出將自動控制導出的記錄量,如導出A表中50%的記錄,設置的Sample參數如下:
Sample=A:50
Warning: Sample_percent指定的值只是一個參考值,EXPDP會根據數據量算出一個近似值。
過濾對象
過濾對象主要依賴於Include和Exclude兩個參數。這兩個參數作用正好相反,在這兩個參數中,可以指定你知道的任何對象 類型(如:Package、Procedure、Table等等)或者對象名稱(支持通配符)
1. Exclude 反規則
指定不被包含的對象類型或者對象名稱。指定了該參數以后,指定的對象類型對應的所有對象都不會被導入或導出。 如果被排除的對象有依賴的對象,那么其依賴的 對象也不會被導入或導出。如:通過Exclude參數指定不導出表對象的話,不僅指定的表不會被導出,連這些表關聯的Index、Check等都不會被導出。Warning: 建議把Exclude參數放入到參數文件中使用,以避免轉義符帶來的麻煩。
2. Include 正規則
與Exclude正好相反。指定包含的對象類型或者對象名稱。
Warning: 由於兩個參數功能正好相反,因此在執行導入或導出命令時,兩個參數不能同時使用,否則Oracle也不知道你想要干什么啦。

exclude/include參數用法:
EXCLUDE=[object_type]:[name_clause],[object_type]:[name_clause]  -->排出特定對象
INCLUDE=[object_type]:[name_clause],[object_type]:[name_clause]  -->包含特定對象
object_type子句用於指定對象的類型,如table,sequence,view,procedure,package等等
name_clause子句可以為SQL表達式用於過濾特定的對象名字。它由SQL操作符以及對象名(可使用通配符)來過濾指定對象類型中的特定對象。
當未指定name_clause而僅僅指定object_type則所有該類型的對象都將被過濾或篩選。多個[object_type]:[name_clause]中間以逗號分割。
示例:
expdp <other_parameters> SCHEMAS=scott EXCLUDE=SEQUENCE,TABLE:"IN ('EMP','DEPT')"
impdp <other_parameters> SCHEMAS=scott INCLUDE=PACKAGE,FUNCTION,PROCEDURE,TABLE:"='EMP'"
常用的過濾SQL表達式
EXCLUDE=SEQUENCE,VIEW                          --過濾所有的SEQUENCE,VIEW
EXCLUDE=TABLE:"IN ('EMP','DEPT')"               --過濾表對象EMP,DEPT
EXCLUDE=SEQUENCE,VIEW,TABLE:"IN ('EMP','DEPT')" --過濾所有的SEQUENCE,VIEW以及表對象EMP,DEPT
EXCLUDE=INDEX:"= 'INDX_NAME'"                   --過濾指定的索引對象INDX_NAME
INCLUDE=PROCEDURE:"LIKE 'PROC_U%'"              --包含以PROC_U開頭的所有存儲過程(_ 符號代表任意單個字符)
INCLUDE=TABLE:"> 'E' "                          --包含大於字符E的所有表對象
其它常用操作符 NOT IN, NOT LIKE, <, != 等等
直接將過濾操作符封裝到參數文件中,如下面的例子
Parameter file:exp_scott.par
DIRECTORY = dump_scott
DUMPFILE = exp_scott_%U.dmp
LOGFILE = exp_scott.log
SCHEMAS = scott
PARALLEL= 2
EXCLUDE = TABLE:"IN ('EMP', 'DEPT')" 
expdp system/manager parfile=exp.par                                                           
命令行下轉義符的處理
Windows平台:
D:\> expdp system/manager DIRECTORY=my_dir DUMPFILE=exp_tab.dmp LOGFILE=exp_tab.log SCHEMAS=scott
INCLUDE=TABLE:\"IN ('EMP', 'DEPT')\"
在Windows平台下,需要對象雙引號進行轉義,使用轉義符\
Unix平台:
在未使用parfile文件的情形下,所有的符號都需要進行轉義,包括括號,雙引號,單引號等
% expdp system/manager DIRECTORY=my_dir DUMPFILE=exp_tab.dmp LOGFILE=exp_tab.log SCHEMAS=scott
INCLUDE=TABLE:\"IN \(\'EMP\', \'DEP\'\)\"
exclude/include常見的錯誤
任意需要轉義的字符如果未轉義或轉義錯誤,都會產生ORA錯誤。下面給出幾種常見的ORA錯誤。
ORA-39001: invalid argument value
ORA-39071: Value for INCLUDE is badly formed.
ORA-00936: missing expression
ORA-39001: invalid argument value
ORA-39071: Value for EXCLUDE is badly formed.
ORA-00904: “DEPT”: invalid identifier
ORA-39001: invalid argument value
ORA-39041: Filter “INCLUDE” either identifies all object types or no object types.
ORA-39001: invalid argument value
ORA-39041: Filter “EXCLUDE” either identifies all object types or no object types
ORA-39001: invalid argument value
ORA-39038: Object path “USER” is not supported for TABLE jobs.
高級過濾
在導出/導入的時候,我們常常有這樣的需求,只想導出/導入表結構,或者只想導出/導入數據。幸運的是數據泵也提供了該功能。使用 Content參數。該參數有三個屬性
1) ALL : 導出/導入對象定義和數據,該參數的默認值就是ALL
2) DATA_ONLY : 只導出/導入數據。
3) METADATA_ONLY : 只導出/導入對象定義。
Warning: 有一點值得注意的時,在執行導出的時候,如果使用了高級過濾,如只導出了數據,那么導入時,需要確保數據定義已經存在。否則數據都變成沒有主子了。如果數 據定義已經存在,導入時最好指定data_only,否則會觸發ORA-39151錯誤,因為對象已經存在了。
過濾已經存在的數據
我們知道,導入的表對象在目標庫中已經存在,並且目標端沒有創建數據完整性約束條件(RI)來檢驗數據的話,就有可能造 成數據被重復導入。數據泵提供了一 個新的參數Table_exists_action,可以一定程度上降低重復數據的產生。該參數用來控制如果要導入的表對象存在,執行什么操作。有以下幾 個參數值:
1) SKIP : 跳過該表,繼續處理下一個對象。該參數默認就是SKIP。值得注意的是,如果你同時指定了CONTENT參數為Data_only的話,SKIP參數無 效,默認為APPEND。
2) APPEND : 向現有的表中添加數據。
3) TRUNCATE : TRUNCATE當前表,然后再添加記錄。使用這個參數需要謹慎,除非確認當前表中的數據確實無用。否則可能造成數據丟失。
4) REPLACE : 刪除並重建表對象,然后再向其中添加數據。值得注意的是,如果同時指定了CONTENT參數為Data_only的話,REPLACE參數無效。
重定義表的Schema或表空間
我們還可能會遇到這樣的需求,把A用戶的對象轉移到B用戶,或者更換數據的表空間。數據泵通過 Remap_Schema和Remap_tablespace參數實現了該功能。
1) REMAP_SCHEMA : 重定義對象所屬Schema
該參數的作用類似IMP中的Fromuser+Touser,支持多個Schema的轉換,語法如下:
REMAP_SCHEMA=Source_schema:Target_schema[,Source_schema:Target_schema]
如 把A的對象轉換到C用戶,將C轉換到D用戶。Remap_schema=a:b,c:d
Warning: 不能在同一個IMPDP命令中指定remap_schema=a:b,a:c.
2) REMAP_TABLESPACE : 重定義對象所在的表空間。
該參數用來重映射導入對象存儲的表空間,支持同時對多個表空間進行 轉換,相互間用逗號分割。語法如下:
REMAP_TABLESPACE=Source_tablespace:Target_tablespace[,Source_tablespace:Target_tablespace]
Warning: 如果使用Remap_tablespace參數,則要保證導入的用戶對目標表空間有讀寫權限。
優化導入/導出效率
對於大數據量來說,我們不得不考慮效率問題。數據泵對效率也提出了更高的要求。甚至官方的描述就是Oracle Data Pump technology enables Very High-Speed movement of data and metadata from one database to another.這里的Very High-Speed依賴我們的parallel參數。
所 有的優化操作都會有三種結果:變得更好、沒有變化、變得更差。Parallel參數也是這樣,並不是指定一個大於1的參數,性能就會有提升。
1) 對於導出的parallel
對於導出來說,由於dump文件只能由一個線程進行操作(包 括I/O處理),因此如果輸出的DUMP文件只有一個,即使你指定再多的並行,實際工作仍然是 一個,而且還會觸發ORA-39095錯誤。因此,建議設置該參數小於或等於生成的DUMP文件數量。那么,如何控制生成的DUMP文件數量呢?
EXPDP 命令提供了一個FILESIZE參數,用來指定單個DUMP文件的最大容量,要有效的利用parallel參數,filesize參數必不可少。
舉 例:某用戶對象占用了4G左右的空間,實際導出后的DUMP文件約為3G,我們嘗試在導出該用戶時指定並行度為4,設置單個文件不超過500M,則語法如 下:
$ expdp user/pwd directory=dump_file dumpfile=expdp_20100820_%U.dmp logfile=expdp_20100820.log filesize=500M parallel=4
2) 對於導入的parallel
對於導入來說,使用parallel參數則要簡單的多,我認為導入更能體現parallel參數的優勢。 參數設置為幾,則認為同時將幾張表的內容導入到庫中。
舉例:某dmp文件中包含了200張表,我們嘗試在導入該DMP文件時指定並行度為10,則 語法如下:
$ impdp user/pwd directory=dump_file dumpfile=expdp_20100820.dmp logfile=impdp_20100820.log parallel=10

如何進入交互模式
在這里,我正在執行導入,我想進入交互模式,查看導入的狀態。進入交互模式有兩種方式,操作步驟如下:
i 使用Ctrl+C退出當前模式
ii 在命令行模式下,執行Expdp/Impdp命令,同時指定attach參數連接到當前正在制定的導入/導出任務。如:
expdp bam/bam attach=SYS_IMPORT_FULL_01
Warning:如果沒有指定Attach參數,則默認進入當前正在運行的 任務。不過如果當前沒有正在指定的任務,而且也沒有給Attach賦值,那么就會報Ora-31626錯誤。
當命令行進入交互模式后,會顯示如下 界面:
Export>
7) 交互模式的操作
在交互模式中,支持下面幾種操作。
i 查看JOB的運行狀態
Export> status
ii 回退到命令行
Export> continue_client
iii 增加並行
Export> parallel=4
Warning: 在使用導出時,不能直接指定parallel參數,否則可能會遇到ORA-39095錯誤,因為如果要並行導出,則必須指定多個導出文件,這里的並行導出 是指,多個線程同時工作,同時從數據庫中導出多個dmp文件來。
在Oracle Database Utilities中有如下解釋:
Because each active worker process or I/O server process writes exclusively to one file at a time, an insufficient number of files can have adverse effects. Some of the worker processes will be idle while waiting for files, thereby degrading the overall performance of the job. More importantly, if any member of a cooperating group of parallel I/O server processes cannot obtain a file for output, then the export operation will be stopped with an ORA-39095 error. Both situations can be corrected by attaching to the job using the Data Pump Export utility, adding more files using the ADD_FILE command while in interactive mode, and in the case of a stopped job, restarting the job.
You can supply multiple file_name specifications as a comma-delimited list or in separate DUMPFILE parameter specifications. If no extension is given for the filename, then Export uses the default file extension of .dmp. The filenames can contain a substitution variable (%U), which implies that multiple files may be generated. The substitution variable is expanded in the resulting filenames into a 2-digit, fixed-width, incrementing integer starting at 01 and ending at 99. If a file specification contains two substitution variables, both are incremented at the same time. For example, exp%Uaa%U.dmp would resolve to exp01aa01.dmp, exp02aa02.dmp, and so forth.
iv 停止JOB
Export> stop_job
v 啟動JOB
Export> start_job
vi 殺掉JOB
Export> kill_job
vii 退出交互模式
Export> exit_client
viii 指定文件大小
Export> filesize=1G
ix 幫助
Export> Help

JOB_NAME
指定要導出作用的名稱,默認為SYS_XXX
JOB_NAME=jobname_string
SELECT * FROM DBA_DATAPUMP_JOBS;--查看存在的job
NETWORK_LINK導出文件到本地
遠程:
          IP:192.168.10.55,OS:RHEL4.8 64bit,Oracle:10.2.0.5 64bit
          被導出用戶:monitor
本地:
       ip: 172.*,WINDOWS XP,oracle 10.2.0.4。
      本地tns :cheniwo
      本地配置的聯系到遠程的tns:lobom55
1)確定本地可訪問遠程
F:\oracle\product\10.2.0\db_2\network\admin\sqlnet.ora
已使用 TNSNAMES 適配器來解析別名
Attempting to contact (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP
(HOST = 192.168.10.55)(PORT = 1521))) (CONNECT_DATA = (SERVICE_NAME = lobomb)))
OK (40 毫秒)
2)在本地建立dblink到遠程
F:\Documents and Settings\Administrator>sqlplus / as sysdba
SQL*Plus: Release 10.2.0.4.0 - Production on 星期四 9月 6 14:25:44 2012
Copyright (c) 1982, 2007, Oracle.  All Rights Reserved.
連接到:
Oracle Database 10g Enterprise Edition Release 10.2.0.4.0 - Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options
SQL> create database link dl_monitor connect to monitor identified by monitor using 'lobom55';
數據庫鏈接已創建。
SQL> select sysdate from dual@dl_monitor;
SYSDATE
--------------
06-9月 -12
3)數據泵導出
F:\Documents and Settings\Administrator>expdp network_link=dl_monitor dumpfile=n
etwork_monitor.dmp
/*--------------------------------------------------
說明:network_link是你建立的到遠程的database link
下邊輸入的用戶名是你本地數據庫的認證
dumpfile 將放在data_pump_dir目錄定義的本地目錄下
-------------------------------*/
Export: Release 10.2.0.4.0 - Production on 星期四, 06 9月, 2012 14:40:17
Copyright (c) 2003, 2007, Oracle.  All rights reserved.
用戶名: / as sysdba
連接到: Oracle Database 10g Enterprise Edition Release 10.2.0.4.0 - Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options
啟動 "SYS"."SYS_EXPORT_SCHEMA_01":  /******** AS SYSDBA network_link=dl_monitor
dumpfile=network_monitor.dmp
正在使用 BLOCKS 方法進行估計...
處理對象類型 SCHEMA_EXPORT/TABLE/TABLE_DATA
使用 BLOCKS 方法的總估計: 81.68 MB
處理對象類型 SCHEMA_EXPORT/USER
.............................省略若干行.............................
處理對象類型 SCHEMA_EXPORT/TABLE/INDEX/STATISTICS/FUNCTIONAL_AND_BITMAP/INDEX_ST
ATISTICS
已成功加載/卸載了主表 "SYS"."SYS_EXPORT_SCHEMA_01"
******************************************************************************
SYS.SYS_EXPORT_SCHEMA_01 的轉儲文件集為:
  F:\ORACLE\PRODUCT\10.2.0\ADMIN\CHENIWO\DPDUMP\NETWORK_MONITOR.DMP
作業 "SYS"."SYS_EXPORT_SCHEMA_01" 已於 14:51:41 成功完成
4)檢查結果:
SQL> set head off
SQL> select * from dba_directories where directory_name='DATA_PUMP_DIR';
SYS  DATA_PUMP_DIR   F:\oracle\product\10.2.0\admin\cheniwo\dpdump\
F:\Documents and Settings\Administrator>cd F:\oracle\product\10.2.0\admin\cheniwo\dpdump
F:\oracle\product\10.2.0\admin\cheniwo\dpdump>dir /w
驅動器 F 中的卷是 新加卷
卷的序列號是 88F0-A421
F:\oracle\product\10.2.0\admin\cheniwo\dpdump 的目錄
[.]                   [..]                  cheniwo.sql
CHENIWO_DP.DMP        dp.log                EXPDAT.DMP
export.log            FULL_CHENIWO.DMP      import.log
NETWORK_MONITOR.DMP   TABLES_CHENIWO.DMP    TABLES_CHENIWO2.DMP
TS_CHENIWO.DMP        USER_CHENIWO.DMP
              12 個文件    128,977,860 字節
               2 個目錄 155,032,698,880 可用字節

參考至:http://loveboth.iteye.com/blog/1745801

              http://bbs.chinaunix.net/thread-3643706-1-1.html

              http://www.cnblogs.com/iImax/p/oracle-11g-expdp-interactive.html
              http://blog.csdn.net/liqfyiyi/article/details/7248911

原文鏈接:http://czmmiao.iteye.com/blog/2041703


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM