SPOOL的用法


举例:test.sh

#! /bin/sh

sqlplus -s scott/tiger<<EOF
 set head off
 set linesize 20000
 set echo off
 set feedback off
 set pagesize 0
 set termout off
 set trimout on
 set trimspool on
  spool /home/test.txt
   select empno || '|' || ename || '|' || job || '|' || 
   mgr || '|' || hiredate || '|' || sal || '|' || 
   comm || '|' || deptno from emp;
  spool off
  exit;
EOF

spool常用的设置:
set head off:输出域标题,缺省为on
set linesize 20000:linesize可以设置的大点,防止一行长度不够
set echo off:显示sqlplus中的每个sql命令本身,缺省为on
set feedback off:回显本次sql命令处理的记录条数,缺省为on
set pagesize 0:输出每页行数,缺省为24,为了避免分页,可设定为0
set termout off:显示脚本中的命令的执行结果,缺省为on
set trimout on:去除标准输出每行的拖尾空格,缺省为off
set trimspool on:去除重定向(spool)输出每行的拖尾空格,缺省为off

 

要输出符合要求格式的数据文件只需在select时用字符连接来规范格式。比如有如下表

SQL> select id,username,password from myuser;      //测试表
1 John       1234
2 Jack       12345
3 Rose       2345
4 Joe        384657
5 Tom        384655
6 Jordan     384455

要输出符合1,John,1234,这样的数据格式就用select id||','||username||','||password||',' from myuser这样的语句。

SQL>; select id||','||username||','||password||',' from myuser;
1,John,1234,
2,Jack,12345,

写个下面这样的脚本就行可以输出符合要求格式的数据至文件中,不会含有其它不需要东西,只有数据部分。

--脚本文件名为expmyusr.sql,存数据的文件名为e:\exp.txt

set echo on            --是否显示执行的命令内容  
set feedback off       --是否显示 *   rows   selected  
set heading off        --是否显示字段的名称
set verify off         --是否显示替代变量被替代前后的语句。fil
set trimspool off      --去字段空格
set pagesize 1000      --页面大小
set linesize 50//linesize设定尽量根据需要来设定,大了生成的文件也大
define fil= 'e:\exp.txt'
prompt *** Spooling to &fil
spool &fil
select id||','||username||','||'"'||password||'"' from myuser;
spool off;
--执行过程
SQL>; @e:\expmyusr.sql
*** Spooling to e:\exp.txt
1,John,"1234"
2,Jack,"12345"
3,Rose,"2345"
4,Joe,"384657"
5,Tom,"384655"
6,Jordan,"384455"

检查可知结果符合要求。

Oracle SPOOL的两种方法之对比:

通常情况下,我们使用SPOOL方法,将数据库中的表导出为文本文件的时候会采用两种方法,如下述:

方法一:采用以下格式脚本 

set colsep '' ------设置列分隔符
set trimspool on
set linesize 120
set pagesize 2000
set newpage 1
set heading off
set term off
spool 路径+文件名
select * from tablename;
spool off

方法二:采用以下脚本

set trimspool on
set linesize 120
set pagesize 2000
set newpage 1
set heading off
set term off
spool 路径+文件名
select col1||','||col2||','||col3||','||col4||'..' from tablename;
spool off

比较以上方法,

方法一采用设定分隔符然后由sqlplus自己使用设定的分隔符对字段进行分割,

方法二将分隔符拼接在SELECT语句中,即手工控制输出格式。


在实践中,我发现通过方法一导出来的数据具有很大的不确定性,这种方法导出来的数据再由sql ldr导入的时候出错的可能性在95%以上,尤其?大批量的数据表,如100万条记录的表更是如此,而且导出的数据文件狂大。


而方法二导出的数据文件格式很规整,数据文件的大小可能是方法一的1/4左右。经这种方法导出来的数据文件再由sqlldr导入时,出错的可能性很小,基本都可以导入成功。


因此,实践中我建议大家使用方法二手工去控制spool文件的格式,这样可以减小出错的可能性,避免走很多弯路。

补充1--参数说明:

------spool------

set arraysize 5000;  --此参数可提高SPOOL卸载的速度,最大可以设置为5000--

set autotrace on;    --设置允许对执行的sql进行分析--

set colsep ',';   --域输出分隔符--

set echo off;    --显示start启动的脚本中的每个sql命令,缺省为on--

set feedback off;  --回显本次sql命令处理的记录条数,缺省为on,设置显示“已选择XX行”--

set heading off;   --输出域标题,字段的名称,缺省为on--

SET LINESIZE 2500;   
--每行允许的最大字符数,设置大些,免得数据被截断,但不宜过大,太大会大大降低导出的速度(注意必须与trimspool结合使用防止导出的文本有太多的尾部空格)--

set newpage 1;       
--设置页与页之间的分隔{1|n|NONE};当值为0时在每页开头有一个小的黑方框;当值为n时在页和页之间隔着n个空行;当为none时,会在页和页之间没有任何间隔;--

set newp none;       --设置查询出来的数据分多少页显示,如果需要连续的数据,中间不要出现空行就把newp设置为none,这样输出的数据行都是连续的,中间没有空行之类的--

set num 18;          --设置数字的长度,如果不够大,则用科学记数法显示--

set numwidth 12;    --输出number类型域长度,缺省为10--

SET NULL text;       --显示时,用text值代替NULL值--

set pagesize 2000;  --输出每页行数,页面大小,缺省为24,为了避免分页,可设定为0--

set serveroutput on; --设置允许显示输出类似dbms_output;--编写存储过程时,大多会将必要的信息输出;--

SET SPACE 0;

set term off;        --不在屏幕上输出执行结果--

set termout off;   --显示脚本中的命令的执行结果,缺省为on--

set timing on;       --显示每个sql语句花费的执行时间,设置显示“已用时间:XXXX”--

set trimout on;   --去除标准输出每行的拖尾空格,缺省为off--

set trimspool on;  --去除重定向(spool)输出每行的拖尾空格,缺省为off--

set verify off       --是否显示替代变量被替代前后的语句--

SET wrap on;         --输出行长度大于设置行长度时(用set linesize n命令设置);值为on时,多余的字符另起一行显示,否则多余的字符将被切除,不予显示;--

--set markup html on;--
spool格式
spool d:/tables.csv    --指定输出文件--

--也可以是 tables.html  或者 tables.xls ,但如果是html格式,要设置set markup html on  --

--  @d:/get_tables.sql      执行get_tables.sql文件,sql后缀默认可以不要--

select '"' || empno || '" ,"' || ename || '" ,"' || job || '","' || mgr || '","' || hiredate || '","' || sal || '","' || comm || '","' || deptno || '""'         
--指定SQL语句,如果是多个SQL语句的话,则要把语句写入一个sql文件,用@(绝对路径)sql文件名去执行,否则执行spool导出命令的话,sql语句也会写到输出文件去--

from scott.emp;   ---分隔为 ,用||连接字符和, ,--

spool off

exit

补充2:

今天实际项目中用到了spool,发现网上好多内容不是很全,自己摸索了好半天,现在总结一下。

一、通过spool 命令,可以将select 数据库的内容写到文件中,通过在sqlplus设置一些参数,使得按指定方式写到文件中

(1)常规使用spool方法,将set的一些命令和spool,select等放入.sql脚本中,然后再sqlplus中运行该脚本。以下为logmnr.sql脚本,

在sqlplus中执行@logmnr.sql就可以写入文件record3.txt中。不会再终端显示任何信息。但是,如果是在sqlplus中输入:

set termout off;

......

spool record3.txt

select ....... from .....;

spool off;

前面的设置是没有用的,还是会在终端中显示大量信息。

复制代码

set echo off;
set heading off;
set line 100;
set long 2000000000;
set longchunksize 255;
set wra on;
set newpage none;
set pagesize 0;
set numwidth 12;
set termout off;
set trimout on;
set trimspool on;
set feedback off;
set timing on;
execute dbms_logmnr.add_logfile(LogFileName=>'/oracle/app/oracle/logs/hrbfct_1_4156_748575599.arc',Options=>dbms_logmnr.new);
execute dbms_logmnr.add_logfile(LogFileName=>'/oracle/app/oracle/logs/hrbfct_2_6645_748575599.arc',Options=>dbms_logmnr.addfile);
execute dbms_logmnr.start_logmnr(DictFileName=>'/oracle/app/oracle/logs/dict.ora');
spool /oracle/app/oracle/logs/record3.txt;
select to_clob(sql_redo)||'|'||to_char(scn)||'|'||to_char(timestamp)||'|'||to_char(session_info)||'|'||to_char(table_name)||'|'||to_char(seg_owner)||'?'
from v$logmnr_contents;
spool off;
exit;

复制代码

(2)那到底能否在shell脚本中运行还不显示这些信息呢,答案是有的。
例如

复制代码

#!/bin/ksh
echo "set echo off;
set heading off;
set line 100;
set long 2000000000;
set longchunksize 255;
set wra on;
set newpage none;
set pagesize 0;
set numwidth 12;
set termout off;
set trimout on;
set trimspool on;
set feedback off;
set timing on;
execute dbms_logmnr.add_logfile(LogFileName=>'/oracle/app/oracle/logs/hrbfct_1_4156_748575599.arc',Options=>dbms_logmnr.new);
execute dbms_logmnr.start_logmnr(DictFileName=>'/oracle/app/oracle/logs/dict.ora');
spool /oracle/app/oracle/logs/record3.txt;
select to_clob(sql_redo)||'|'||to_char(scn)||'|'||to_char(timestamp)||'|'||to_char(session_info)||'|'||to_char(table_name)||'|'||to_char(seg_owner)||'?'
from v\$logmnr_contents;
spool off;
" | sqlplus '/as sysdba'>/dev/null

复制代码

这样就能利用shell脚本中执行spool方法,同时不会再终端中显示。注意,只有这种方法可以。

试过这种方法,结果证明是不行的。。。。  看着和上面echo进去很像,但事实就是不行,还是会显示大量的信息,两个!就是将中间内容发送到sqlplus中作为输入

复制代码

#!/bin/bash
......
.....
sqlplus oracleuser/user@SERVICE_NAME << !
set ECHO off
set heading off
set pagesize 0
set linesize 1000
set term off
set trims on
set feedback off
spool $tmpfile
select owner||'.'||table_name||',' from all_tables where owner=upper('$owner_user') and table_name like 'DR%$exp_month%';
spool off
quit
!
.......

复制代码

(2)spool通常会用到连接||,这里讲一下连接是怎么回事

SQL> SELECT LPAD('x',4000,'x') || LPAD('x',4000,'x')  || LPAD('x',4000,'x') FROM DUAL;
SELECT LPAD('x',4000,'x') || LPAD('x',4000,'x')  || LPAD('x',4000,'x') FROM DUAL
                                                                                                   *
ERROR at line 1:
ORA-01489: result of string concatenation is too long

这里简单先介绍下lpad和rpad是怎么回事:(l,r只是方向不同)
rpad函数从右边对字符串使用指定的字符进行填充   
rpad(string,padded_length,[pad_string])   
string 表示:被填充的字符串   
padded_length 表示:字符的长度,是返回的字符串的数量,如果这个数量比原字符串的长度要短,rpad函数将会把字符串截取成从左到右的n个字符;   
pad_string 是个可选参数,这个字符串是要粘贴到string的右边,如果这个参数未写,lpad函数将会在string的右边粘贴空格。   
例如:   
rpad('tech', 7); 将返回'tech '   
rpad('tech', 2); 将返回'te'   
rpad('tech', 8, '0'); 将返回'tech0000'   
rpad('tech on the net', 15, 'z'); 将返回 'tech on the net'   
rpad('tech on the net', 16, 'z'); 将返回 'tech on the netz'

好了,现在回到上面的问题,为什么会出错呢,因为varchar2在oracle中,最多只支持到4000个字符,也就是32K,||的操作会把后面的放入到前面里,就是把后面4000个x放入到
前一个4000个x里,作为varchar2,当然就超过了4000的界限。
Problem Description:
The problem with this query is with the use of CONCAT operator (||).

e.g.: select char1 || char2 from dual
Concat operator returns char1 concatenated with char2. The string returned is in the 
same character set as char1. So here concat operator is trying to return varchar2, 
which has limit of 4000 characters and getting exceeded.

This problem may also come when we try to CONCAT a VARCHAR2 with CLOB.
e.g.: select char1 || clob from dual

So here we can simply convert its first string to CLOB and avoid this error.
After converting first string to CLOB, CONCAT operator will return string of CLOB type


Solution:
SELECT TO_CLOB(LPAD('x',4000,'x')) || LPAD('x',4000,'x')  || LPAD('x',4000,'x') 
FROM DUAL
所以问题解决了,只需要将连接的第一个转换成clob就可以。

看我上面的logminer.sql,我将sql_redo用to_clob函数转换成了clob类型,如果不设置set long 20000000和set longchunksize 255;就会发现,在record3文档中每行只有
前80个字符,剩下的都被截断了,这就是我上篇博客中的clob截断问题,所以用上篇博客的方法可以完美解决问题。欧耶!

(3)shell调用spool 的另一种方法,
那就是在shell中调用
selecttpmof03.txt
复制代码

set heading off
set feedback off
set echo off
set newp none
set termout off
spool /home/orarun/scripts/date.txt
select a.REC_CREATOR||'|'||a.REC_CREATE_TIME||'|'||b.event_name||'|'||a.ORDER_NO||'|'||a.MAT_NO||'|'||a.MAT_STATUS||'|'||a.WT from tpmof03 a,tpmof21 b where (a.event_id=b.event_id and a.event_id in('52','6A','6B','6C','6D','5B'))and (a.rec_create_time>='20120101000000');
spool off;

复制代码
 
复制代码
 
 

#!/bin/sh

rm /home/orarun/scripts/date.txt

sqlplus tjc1/tjc10804@tjc1 << EOF

@selecttpmof03.txt #或者sqlplus 。。。。。。。。@logminer.sql

EOF

复制代码
 

这种方法理论上也不会在终端上显示信息,不知道为啥上面那个用!的就不行,感觉差不多的样子

   (4)还有一种想法可以在shell脚本中编写出一个.sql脚本,然后去执行它。

    

复制代码
 

#!/bin/ksh
record=/oracle/app/oracle/logs/dirct
flag=0
count=1
echo "set echo off;
set heading off;
set line 100;
set long 2000000000;
set longchunksize 255;
set wra on;
set newpage none;
set pagesize 0;
set numwidth 12;
set termout off;
set trimout on;
set trimspool on;
set feedback off;
set timing on;" > logmnr.sql
echo "write config"
for file_i in `cat $record`;
do
flag=1
if [ $count -eq 1 ];then
sed -i '/'''$file_i'''/d' $record
echo "execute dbms_logmnr.add_logfile(LogFileName=>'/oracle/app/oracle/logs/$file_i',Options=>dbms_logmnr.new);">>logmnr.sql
count=0
else
sed -i '/'''$file_i'''/d' $record
echo "execute dbms_logmnr.add_logfile(LogFileName=>'/oracle/app/oracle/logs/$file_i',Options=>dbms_logmnr.addfile);">>logmnr.sql
fi
done
echo "execute dbms_logmnr.start_logmnr(DictFileName=>'/oracle/app/oracle/logs/dict.ora');">>logmnr.sql
if [ $flag -eq 1 ];then
echo "spool /oracle/app/oracle/logs/record3.txt;
select to_clob(sql_redo)||'|'||to_char(scn)||'|'||to_char(timestamp)||'|'||to_char(session_info)||'|'||to_char(table_name)||'|'||to_char(seg_owner)||'?'
from v\$logmnr_contents;
spool off;
exit;">>logmnr.sql
#sqlplus '/as sysdba' @logmnr.sql


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM