轉自https://blog.csdn.net/q6834850/article/details/73726707?tdsourcetag=s_pctim_aiomsg 采用JDBC批處理（開啟 ...

1.問題背景 　　設計到幾十張數據庫表，每張表有幾萬到十幾萬數據不等，現在需要盡可能快的導出excel數據。 2.遇到的問題及解決思路 　　2.1 數據量大，生成速度慢。下載的文件太大。 　　　　　使用多線程下載，一個表的數據分配一條線程，全部下載完成壓縮成一個zip文件 ...

描述，說吧數據也不算大，幾十萬，只可惜服務器和數據庫以及項目優化不夠，延遲賊高，所以搞個分批入庫，解決下速度。直接開始擼。 ...

　　最近在公司備份數據庫數據，簡單的看了一下。當然我用的是簡單的手動備份。 　　第一：其實最好的方法是直接用： 　　mysqldump -u用戶名 -p密碼 數據庫名 < 數據庫名.sql 在linux在操作的，測試過一個一萬多行的導入數據，共121m。在linux下，幾秒 ...

bloom-filter 算法 場景：我說的大數據量處理是指同時需要對數據進行檢索查詢，同時有高並發的增刪改操作； 記得以前在XX做電力時，幾百萬條數據，那時一個檢索查詢可以讓你等你分鍾； 現在我是想探討下對大數據量的處理，那時我就在想例如騰訊，盛大，動輒數以億計的帳號,怎么能 ...

近幾天做了一個項目，需要解析大量的json數據，有一萬多條，以前我用的都是Gson包去自動解析，但是速度真是不敢恭維，於是我又去查了其它的方法，發現fastjson的解析，發現速度直的是很快，在此我不得不佩服，這個包的作者，直是很厲害，能寫出這樣一個工具，我在網上看了，這個工具還有很多問題，但也 ...

從總體上來看，對於大型網站，比如門戶網站，在面對大量用戶訪問、高並發請求方面，基本的解決方案集中在這樣幾個環節：1.首先需要解決網絡帶寬和Web請求的高並發，需要合理的加大服務器和帶寬的投入，並且需要 ...

前言 不進行優化的代碼就是耍流氓。 總體來說大數據優化主要分為三點，一是充分利用CPU，二是節省內存，三是減少網絡傳輸。 一、Hive/MapReduce調優 1.1 本地模式 Hive默認采用集群模式進行計算，如果對於小數據量，可以設置為單台機器進行計算，這樣可以大大縮減 ...