批量快速的導入導出Oracle的數據(spool緩沖池、java實現)


1. Java代碼實現思路

BufferedWriter writefile = new BufferedWriter(new FileWriter(file));
  writefile.write("set feedback  off \n");
  writefile.write("set trimspool on  \n");
  writefile.write("set heading   off \n");
  writefile.write("set trimout   on  \n");
  writefile.write("set verify    off \n");
  writefile.write("set pagesize 0 \n");
  writefile.write("set linesize 20000 \n");
  writefile.write("define fil= '"+local_path+DataFileName+"' \n");
  writefile.write("prompt *** Spooling to &fil \n");
  writefile.write("spool &fil \n");
  writefile.write(sql+"; \n");
  writefile.write("spool off; \n");
  writefile.write("exit \n");
  writefile.close();
  Process process = Runtime.getRuntime().exec("sqlplus " + username + "/" + userpass + " @"+local_path+SqlFileName);

  sql=select * from tableA

2. Shell腳本實現

#!/usr/bin/sh

sqlplus -s jf_isu/12345678 << EOF

set pagesize 0

set space 0

set termout off

set arraysize 5000--提高效率

set linesize 2000

set feedback off

set trimout on

settrimspool on

set tab off

--select * from nls_session_parameters where parameter='NLS_DATE_FORMAT';

--查詢當前session的日期格式,有時sqlplus的日期和PL/SQL里面查詢的日期格式不一樣,導出來沒有時分秒。

alter session set nls_date_format='yyyy/mm/dd hh24:mi:ss';

spool /home/bea/app/ftpdata/test.txt

--spool.sql格式select t.id||','||t.name||','||t.age from users t;

@spool.sql --這樣不會刷屏,效率提高。

spool off

exit

EOF --需要左頂格寫。

 

方法二

sqlplus -s jf_isu/12345678>>spool.txt << EOF

set pagesize 0

set space 0

set termout off

set arraysize 5000

set linesize 2000

set feedback off

set trimout on

settrimspool on

set tab off

select t.id||','||t.name||','||t.age from users t;

EOF

 

在使用sqlldr導入時,表中的日期字段會報reject不能導入,日期格式不符合。此時可以在control file里面對日期字段進行格式化。

LOAD DATA

BADFILE "BadFile.txt"

DISCARDFILE "DisFile.txt"

APPEND INTO TABLE "TEST"

FIELDS TERMINATED BY ","

TRAILING NULLCOLS

(NAME,

TIME date "yyyy/mm/dd hh24:mi:ss",

--TIME timestamp "yyyy/mm/dd hh24:mi:ss",

age

)

 

 

3. 注意事項

1)         Oralce數據庫表欄位類型為INTEGER時,在導出時需要注意將此欄位類型做一下轉換,否則一旦欄位值超過一定長度,則導出的數據文件中,該欄位值將以科學計數法表示。以致數據文件中的值和再導入表中的值與實際值不符。

:

000000              |+|000001              |+|000000|+|31-AUG-11   |+| 198247693|+|-1.636E+09|+| 853889716|+|         0|+|        24096|+|         0|+|        0|+|          0|+|   2523765

2)         如上所示導出的數據文件中,各列中存在空格,故建議采用【Shell腳本實現】中的方式實現導出,而不是使用select * from tableName的方式。針對有空格欄位的導入,參見報文《Oracle sqlldr范例一:去空格及日期導入》

------------------------------------------------------------------------------------------------------------------

對於數據量比較大的項目首選的數據庫一般是Oracle,正是因為數據量比較大,所以有的時候需要轉移數據的時候就更加的復雜。這篇文章我根據自己的經驗,從把Oracle的數據導出到txt文件,在導入到數據全面介紹怎樣快速的導入導出數據。

首先說這里我們的數據庫的用戶名和密碼都是oracle,這個用戶下存在一張用戶的表(user),對應的有兩個字段,分別是uname和uid。
對於導出數據,使用的是spool方法,下面是腳本,名字是spool.sh

 

#!/bin/shif [ $# -ne 2 ]; thenecho "usage:$0  sqlfile outfile";exit 1; fisqlfile=$1;outfile=$2;sqlplus  oracle/oracle << EOF   spool  $outfile   set pages 9999   set heading off   set echo off   set feedback off   @$sqlfile   spool off   exit!

如果我們要導出user表中的數據,我們需要建立一個導出的文件,如user.sql,這里我是用的是"^"作為分隔符,這個可以根據自己的喜好進行選擇,一般這樣分隔符不會出現在字段的內容那個里就行。

 

set termout offset echo offset feedback offset linesize 5000 set colsep "^"set heading offset verify offset pagesize 0set trimout onset trimspool onselect uname||'^'||uid from user;

下一步就是執行命令,首先需要spool.sh這文件要具有當前用戶的執行的權限,對於Linux來說,賦予文件的執行權限一般是使用chmod,一般我會使用

chmod 777 spool.sh

這樣這個用戶就具有了執行這個文件的權限,我這種方式屬於簡單粗暴的方式,我們也可以更詳細的給這個文件賦予不同的權限。然后執行如下的命令就可以導出數據了,因為是比較簡單的命令所以我就不多說

nohup ./spool.sh user.sql /home/user.txt >> user.log &

執行問以后你可以"ps -ef|grep sql"確定當前的命令確實在執行中,當導出完成后事自動的退出。

下面說一說怎樣導入數據,先要准備兩個文件分別是user.lst.crl和user.lst.shell,對應的內容如下

user.lst.crl:說明一下,如果我們是想要完全的覆蓋表中的數據的時候,可以把"append"換成"replace",是否使用"trim"也是根據情況定的

 

load data infile '/home/user.txt'append into table userfields terminated by '^'(uname  "trim(:<span style="font-family: Arial, Helvetica, sans-serif;">uname</span><span style="font-family: Arial, Helvetica, sans-serif;">)",</span>
uid)

user.lst.shell:這個的“sed '1,5d'”是刪除文件的1到5行,"error"是在我們碰到多少條異常的情況后會停止執行導入數據的操作

 

 

sed '1,5d' /home/user.txt sqlldr oracle/oracle control=/home/user.lst.crl errors=10000 log=/home/user.lst.log

同樣的user.lst.shell需要在當前的用戶下,該用戶具有可執行的權限,然后執行

 

 

nohup ./user.lst.shell &

就行了,同樣的道理,你可以"ps"一下確定當前的任務是否在正常的執行,或者看一下日志也行。

 

--------------------------------------------------------------------------------------------------------------------------------------

set pagesize 0

set space 0

set term off

set linesize 2000

set feedback off

set trimout on

set trimspool on

set tab off

set colsep ',' --分割符

 

關於SPOOL(SPOOL是SQLPLUS的命令,不是SQL語法里面的東西。) 

對於SPOOL數據的SQL,最好要自己定義格式,以方便程序直接導入,SQL語句如: 
select taskindex||'|'||commonindex||'|'||tasktype||'|'||to_number(to_char(sysdate,'YYYYMMDD')) from ssrv_sendsms_task; 

spool常用的設置 
set colsep' ';    //域輸出分隔符 
set echo off;    //顯示start啟動的腳本中的每個sql命令,缺省為on 
set feedback off;  //回顯本次sql命令處理的記錄條數,缺省為on 
set heading off;   //輸出域標題,缺省為on 
set pagesize 0;   //輸出每頁行數,缺省為24,為了避免分頁,可設定為0。 
set termout off;   //顯示腳本中的命令的執行結果,缺省為on 
set trimout on;   //去除標准輸出每行的拖尾空格,缺省為off 
set trimspool on;  //去除重定向(spool)輸出每行的拖尾空格,缺省為off 

導出文本數據的建議格式: 
SQL*PLUS環境設置SET NEWPAGE NONE 
                SET HEADING OFF 
                SET SPACE 0 
                SET PAGESIZE 0 
                SET TRIMOUT ON 
                SET TRIMSPOOL ON 
                SET LINESIZE 2500 

注:LINESIZE要稍微設置大些,免得數據被截斷,它應和相應的TRIMSPOOL結合使用防止導出的文本有太多的尾部空格。但是如果LINESIZE設置太大,會大大降低導出的速度,另外在WINDOWS下導出最好不要用PLSQL導出,速度比較慢,直接用COMMEND下的SQLPLUS命令最小化窗口執行。 

對於字段內包含很多回車換行符的應該給與過濾,形成比較規矩的文本文件。通常情況下,我們使用SPOOL方法,將數據庫中的表導出為文本文件的時候會采用兩種方法,如下述: 

方法一:采用以下格式腳本  
        set colsep '|'               --設置|為列分隔符 
  set trimspool on 
  set linesize 120 
  set pagesize 2000          
  set newpage 1 
  set heading off            
  set term off 
        set num 18                  
        set feedback off            
  spool 路徑+文件名 
  select * from tablename; 
  spool off 

方法二:采用以下腳本 
        set trimspool on 
  set linesize 120 
  set pagesize 2000 
  set newpage 1 
  set heading off 
  set term off 
  spool 路徑+文件名 
  select col1||','||col2||','||col3||','||col4||'..' from tablename; 
  spool off 

比較以上方法,即方法一采用設定分隔符然后由sqlplus自己使用設定的分隔符對字段進行分割,方法二將分隔符拼接在SELECT語句中,即手工控制輸出格式。 

在實踐中,發現通過方法一導出來的數據具有很大的不確定性,這種方法導出來的數據再由sqlldr導入的時候出錯的可能性在95%以上,尤其對大批量的數據表,如100萬條記錄的表更是如此,而且導出的數據文件狂大。 

而方法二導出的數據文件格式很規整,數據文件的大小可能是方法一的1/4左右。經這種方法導出來的數據文件再由sqlldr導入時,出錯的可能性很小,基本都可以導入成功。 

因此,實踐中我建議大家使用方法二手工去控制spool文件的格式,這樣可以減小出錯的可能性,避免走很多彎路。 


自測例:將ssrv_sendsms_task表中的數據導出到文本(數據庫Oracle 9i  操作系統 SUSE LINUX Enterprise Server 9) 

spool_test.sh腳本如下: 
#!/bin/sh 
DB_USER=zxdbm_ismp                               #DB USER 
DB_PWD=zxin_smap                                 #DB PASSWORD 
DB_SERV=zx10_40_43_133                           #DB SERVICE NAME 

sqlplus -s $DB_USER/$DB_PWD@$DB_SERV<<EOF # -s 參數屏蔽打印到屏幕上的其他信息,只顯示sql執行后從DB中查詢出來的信息,過濾掉spool函數執行時在文件中寫入的其他信息。 
set trimspool on 
set linesize 120 
set pagesize 2000 
set newpage 1 
set heading off 
set term off 
spool promt.txt 
select taskindex||'|'||commonindex||'|'||tasktype||'|'||to_number(to_char(sysdate,'YYYYMMDD')) from ssrv_sendsms_task; 
spool off 
EOF 


執行./spool_test.sh后生成sp_test.txt,內容如下: 
83|115|1|20080307 
85|115|11|20080307 
86|115|10|20080307 
84|115|2|20080307 
6|5|14|20080307 
7|5|12|20080307 
9|5|15|20080307 


注:上面自測例中,spool promt.txt中的目標生成文件promt.txt,在HP-UNX環境下的shell腳本中調用Oracle的spool函數,如果將上述邏輯代碼封裝為一個function,然后來調用這個function的話,則在shell腳本中最終是不會生成promt.txt文件的。只能直接執行邏輯代碼,封裝后則spool函數失效。 
          對於promt.txt在相對路徑下,下面2中方法在shell環境中執行時,兩者只能擇一,兩者並存則spool函數會失效。假設promt.txt文件生成的路徑為:/home/zxin10/zhuo/batchoperate/spoolfile 
方式[1] 
echo "start spool in shell.." 

sqlplus -s zxdbm_ismp/zxin_smap<<EOF 
set pagesize 0 
set echo off feed off term off heading off trims off 
set colsep '|' 
set trimspool on 
set linesize 10000 
set trimspool on 
set linesize 120 
set newpage 1 
spool /home/zxin10/zhuo/batchoperate/spoolfile/promt.txt 
select batchindex||'|'||productid||'|'||contentid||'|'||optype||'|'||uploadfile from zxdbm_700.s700_batch_operation where status=1; 
spool off 
EOF 
echo "end.." 
方式[2] 
echo "start spool in shell.." 
cd /home/zxin10/zhuo/batchoperate/spoolfile 
sqlplus -s zxdbm_ismp/zxin_smap<<EOF 
set pagesize 0 
set echo off feed off term off heading off trims off 
set colsep '|' 
set trimspool on 
set linesize 10000 
set trimspool on 
set linesize 120 
set newpage 1 
spool promt.txt 
select batchindex||'|'||productid||'|'||contentid||'|'||optype||'|'||uploadfile from zxdbm_700.s700_batch_operation where status=1; 
spool off 
EOF 
echo "end.." 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM