起因:
前段時間,因為涉及到一張表的大數據操作,要同時進行增刪改,我跟師傅想了很多優化辦法,結果都不盡人意。剛開始用的就是原始算法,先更新現有記錄,再插入滿足要求的其他記錄,最后再刪除多余記錄,但是少量數據還可以,10W條數據就不行了,前台的超時時間是60s,遠遠無法滿足要求。之后又想辦法將任務進行拆分,根據每條記錄流水號尾字符不同進行拆分,用多個線程同時執行,一直拆分成10個任務(尾字符分別為0、1、2、3 ... 9),用十個線程同時去執行,但是時間還是很慢,最多處理13W條數據左右,50W條數據就讓人無法忍受了。最后無奈只好把之前的優化全部鏟掉,改為merge into操作,再做了一些優化,將50W條數據的單線程耗時縮短到三十多秒,特此,將merge into的用法總結如下:(http://blog.csdn.net/yuzhic/article/details/1896878)
有一個表T,有兩個字段a、b,我們想在表T中做Insert/Update,如果條件滿足,則更新T中b的值,否則在T中插入一條記錄。在Microsoft的SQL語法中,很簡單的一句判斷就可以了,SQL Server中的語法如下:
if exists(select 1 from T where T.a='1001' ) update T set T.b=2 Where T.a='1001' else insert into T(a,b) values('1001',2);
Oracle中,要實現相同的功能,要用到Merge into來實現(Oracle 9i引入的功能),其語法如下:
MERGE INTO table_name alias1 USING (table|view|sub_query) alias2 ON (join condition) WHEN MATCHED THEN UPDATE table_name SET col1 = col_val1, col2 = col_val2 WHEN NOT MATCHED THEN INSERT (column_list) VALUES (column_values);
嚴格意義上講,”在一個同時存在Insert和Update語法的Merge語句中,總共Insert/Update的記錄數,就是Using語句中alias2的記錄數”。所以,要實現上面的功能,可以這樣寫:
MERGE INTO T T1 USING (SELECT '1001' AS a,2 AS b FROM dual) T2 ON ( T1.a=T2.a) WHEN MATCHED THEN UPDATE SET T1.b = T2.b WHEN NOT MATCHED THEN INSERT (a,b) VALUES(T2.a,T2.b);