postgresql批量新增數據時，批量插入的數據量太大了，造成了IO異常 只能把這么多數據先進行分割，再批量插入，但是感覺這種方式不是最優解，先暫時頂着，具體List分割方式如下： 原先批量調用的地方做個處理： ...

在很多時候，我們會需要對一個表進行插入大量的數據，並且希望在盡可能短的時間內完成該工作，這里，和大家分享下我平時在做大量數據insert的一些經驗。 　　前提：在做insert數據之前，如果是非生產環境，請將表的索引和約束去掉，待insert完成后再建索引和約束。 　　1. ...

　　最近在公司備份數據庫數據，簡單的看了一下。當然我用的是簡單的手動備份。 　　第一：其實最好的方法是直接用： 　　mysqldump -u用戶名 -p密碼 數據庫名 < 數據庫名.sql 在linux在操作的，測試過一個一萬多行的導入數據，共121m。在linux下，幾秒 ...

最近項目有個需求，把一張表中的數據根據一定條件增刪改到另外一張表。按理說這是個很簡單的SQL。可是在實際過程中卻出現了超級長時間的執行過程。 后來經過排查發現是大數據量insert into xx select造成。 原因在於當insert into xx select數據量達到10萬級別 ...

bloom-filter 算法 場景：我說的大數據量處理是指同時需要對數據進行檢索查詢，同時有高並發的增刪改操作； 記得以前在XX做電力時，幾百萬條數據，那時一個檢索查詢可以讓你等你分鍾； 現在我是想探討下對大數據量的處理，那時我就在想例如騰訊，盛大，動輒數以億計的帳號,怎么能 ...

近幾天做了一個項目，需要解析大量的json數據，有一萬多條，以前我用的都是Gson包去自動解析，但是速度真是不敢恭維，於是我又去查了其它的方法，發現fastjson的解析，發現速度直的是很快，在此我不得不佩服，這個包的作者，直是很厲害，能寫出這樣一個工具，我在網上看了，這個工具還有很多問題，但也 ...

http://blog.csdn.net/jingshuaizh/article/details/43852513 update map中需要執行多個 update語句。 最后加上參數 " ...

導入100W的Csv數據，使用OpenCsv解析工具解析Csv，發現報錯 報錯內容 解析代碼 報錯位置發生在英文逗號處，一開始懷疑是英文逗號解析問題 Csv 文本報錯位置 去掉當前位置英文逗號導入仍舊失敗 后來查看源碼發現默認的 CSVParser 會對反斜杠""進行處理 ...