注：本文思路已經應用於“飛梭TXT文本數據處理百寶箱”中，有興趣的朋友可以下載試用。 我們知道，如果需要批量生成海量無重復的隨機數據是個很麻煩的事情。如果每次生成都要和之前生成的數據進行比對的話，那效率會隨着數據量的增大而越來越低，最后不堪忍受。今天介紹一種另類的思路，可以高效的做到隨機數據無重復 ...

1.問題背景 　　設計到幾十張數據庫表，每張表有幾萬到十幾萬數據不等，現在需要盡可能快的導出excel數據。 2.遇到的問題及解決思路 　　2.1 數據量大，生成速度慢。下載的文件太大。 　　　　　使用多線程下載，一個表的數據分配一條線程，全部下載完成壓縮成一個zip文件 ...

使用POI 的SXSSF (Streaming Usermodel API)生成較大的excel，同時開啟壓縮 遇到的問題： 錯誤是NPE錯誤，類似如下，原因是缺少字體或者環境變量未設置，需要安裝"ttf-dejavu"字體，具體可以參考： https ...

　　最近在公司備份數據庫數據，簡單的看了一下。當然我用的是簡單的手動備份。 　　第一：其實最好的方法是直接用： 　　mysqldump -u用戶名 -p密碼 數據庫名 < 數據庫名.sql 在linux在操作的，測試過一個一萬多行的導入數據，共121m。在linux下，幾秒 ...

bloom-filter 算法 場景：我說的大數據量處理是指同時需要對數據進行檢索查詢，同時有高並發的增刪改操作； 記得以前在XX做電力時，幾百萬條數據，那時一個檢索查詢可以讓你等你分鍾； 現在我是想探討下對大數據量的處理，那時我就在想例如騰訊，盛大，動輒數以億計的帳號,怎么能 ...

近幾天做了一個項目，需要解析大量的json數據，有一萬多條，以前我用的都是Gson包去自動解析，但是速度真是不敢恭維，於是我又去查了其它的方法，發現fastjson的解析，發現速度直的是很快，在此我不得不佩服，這個包的作者，直是很厲害，能寫出這樣一個工具，我在網上看了，這個工具還有很多問題，但也 ...

近期項目中遇到一個問題，有一批數據，少則幾百條，多則上萬條，需要向數據庫中進行插入和更新操作，即：當數據庫中有數據時，更新之，沒有數據時，插入之。 解決問題的步驟如下： 首先想到的當然是用先根據條件select count(*) from table where "case"，判斷select ...

總結下這周幫助客戶解決報表生成操作的mysql 驅動的使用上的一些問題，與解決方案。由於生成報表邏輯要從數據庫讀取大量數據並在內存中加工處理后在 生成大量的匯總數據然后寫入到數據庫。基本流程是 讀取->處理->寫入。 1 讀取操作開始遇到的問題是當sql查詢數據量比較大時候基本讀 ...