關於千萬級數據刪除的問題


關於千萬級數據我個人認為數據量已經不小了,然而數據刪除數據是一件很頭痛的事情,因為平常僅僅只用delete 操作發現在刪除數據未結束之前是不釋放內存的導致刪除失敗,經過大量的時間查詢,想過使用truncate 方法刪除不能保存日志並且也不能加條件進行刪除,導致也不得不放棄。最后我經過很長一段時間查詢治療,發現游標刪除數據時候可以解決數據刪除不釋放內存的問題,那就是每每刪除1000條數據就提交一次事務來釋放內存。代碼如下

方法1

declare
    cursor [del_cursor] is select a.*, a.rowid row_id from [table_name] a order by a.rowid;
begin
    for v_cusor in [del_cursor] loop
          if v_cusor.[time_stamp] < to_date('2014-01-01','yyyy-mm-dd') then
              delete from [table_name] where rowid = v_cusor.row_id;
          end if;
          if mod([del_cursor]%rowcount,1000)=0 then
              commit;
          end if;
    end loop;
    commit;
end;

方法1中變量說明:

[del_cursor] 游標名

[table_name] 你要刪除數據的表名

[time_stamp] 你用作過濾條件的表的時間字段名稱

方法2

declare  
maxrows number default 1000;
delete_ct number default 0;
begin
select count(1)/maxrows  into delete_ct from [table_name] where [time_stamp] < to_date('2014-01-01','yyyy-mm-dd');
for i in 1..TRUNC(delete_ct)+1
loop
delete [table_name] where [time_stamp] < to_date('2014-01-01','yyyy-mm-dd') and rownum <= maxrows;
commit;
end loop ;
end;

方法2中變量說明:

[table_name] 你要刪除數據的表名

[time_stamp] 你用作過濾條件的表的時間字段名稱

Note

兩種方法的核心的思路都是把一個大事物拆分成了若干個小事物,無論采用哪種方法,都建議先在對應的測試環境中測試后再考慮是否可以在實際生產使用。

順便說一句,這樣的大表應該要綜合考慮下是否可以改造成分區表。

這是一個中間存儲函數

另外下面為了方便讀者,我特意將delete 與truncate的區別給大家羅列出來。
1.delete from后面可以寫條件,truncate不可以。

2.delete from記錄是一條條刪的,所刪除的每行記錄都會進日志,而truncate一次性刪掉整個頁,因此日至里面只記錄頁釋放,簡言之,delete from更新日志,truncate基本不,所用的事務日志空間較少。

3.delete from刪空表后,會保留一個空的頁,truncate在表中不會留有任何頁。

4.當使用行鎖執行 DELETE 語句時,將鎖定表中各行以便刪除。truncate始終鎖定表和頁,而不是鎖定各行。

5.如果有identity產生的自增id列,delete from后仍然從上次的數開始增加,即種子不變,而truncate后,種子會恢復初始。

6.truncate不會觸發delete的觸發器,因為truncate操作不記錄各個行刪除。

總結 
1.truncate和 delete只刪除數據不刪除表的結構(定義) 
drop語句將刪除表的結構被依賴的約束(constrain),觸發器(trigger),索引(index); 依賴於該表的存儲過程/函數將保留,但是變為invalid狀態。

2.delete語句是dml,這個操作會放到rollback segement中,事務提交之后才生效;如果有相應的trigger,執行的時候將被觸發 
truncate,drop是ddl, 操作立即生效,原數據不放到rollback segment中,不能回滾. 操作不觸發trigger。

3.delete語句不影響表所占用的extent, 高水線(high watermark)保持原位置不動 
顯然drop語句將表所占用的空間全部釋放 
truncate 語句缺省情況下見空間釋放到 minextents個 extent,除非使用reuse storage; truncate會將高水線復位(回到最開始)。

4.速度,一般來說: drop> truncate > delete。

5.安全性:小心使用drop 和truncate,尤其沒有備份的時候.否則哭都來不及。

6.使用上,想刪除部分數據行用delete,注意帶上where子句. 回滾段要足夠大. 想刪除表,當然用drop 
想保留表而將所有數據刪除. 如果和事務無關,用truncate即可. 如果和事務有關,或者想觸發trigger,還是用delete 
如果是整理表內部的碎片,可以用truncate跟上reuse stroage,再重新導入/插入數據。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM