用FlexGrid做開發，輕松處理百萬級表格數據
表格數據處理是我們項目開發中經常會遇到的設計需求之一，所需處理的數據量也較大，通常是萬級、甚至百萬級。此時，完全依賴平台自帶的表格工具，往往無法加載如此大的數據量，或者加載得很慢影響程序執行。 那么，有沒有好的開發工具，能實現加載大量數據的需求，同時不影響程序執行? 介紹一款 ...
原文：用bitSet做百萬級ip去重
如果直接將幾百萬數據仍到bitset，內存是否夠用 實際測試， 萬ip放到一個bitSet中，jvm內存會爆。 所以，就簡單做了下分組，構建一個HashMap lt String, BitSet gt ， 以 . . . 為例，將 . 直接截取為字符串，當作hashmap的key，后 位補零為 ，將 放入 . 分組的bitSet中。 適用場景： 這種構建bitSet的去重方式，適合判斷某個ip是否 ...
2018-06-28 19:28 0 890 推薦指數：
相關推薦
用FlexGrid做開發，輕松處理百萬級表格數據
表格數據處理是我們項目開發中經常會遇到的設計需求之一，所需處理的數據量也較大，通常是萬級、甚至百萬級。此時，完全依賴平台自帶的表格工具，往往無法加載如此大的數據量，或者加載得很慢影響程序執行。 那么，有沒有好的開發工具，能實現加載大量數據的需求，同時不影響程序執行？介紹一款高效輕量的數據處理 ...
使用bitset實現毫秒級查詢
前言 因為業務要求api的一次請求響應時間在10ms以內，所以傳統的數據庫查詢操作直接被排除(網絡io和磁盤io)。通過調研，最終使用了bitset,目前已經正常運行了很久 bitset介紹 看JDK中的解釋簡直一頭霧水，用我自己的理解概括一下 bitset的內部實現是long ...
用Spark做去重操作
#原理很簡單：先是通過flatMap函數，把rdd進行扁平化操作，再用map函數得到(k,1)的樣式，然后再用groupByKey函數，合並value值，就相當於對key進行去重操作，再用keys()函數，取出key 實驗數據：delcp.txt ...
如何高效讀寫百萬級的Excel?
高效讀取百萬級數據 接上一篇介紹的高效寫文件之后，最近抽時間研究了下Excel文件的讀取。概括來講，poi讀取excel有兩種方式：用戶模式和事件模式。 然而很多業務場景中的讀取Excel仍然采用用戶模式，但是這種模式需要創建大量對象，對大文件的支持非常不友好，非常容易OOM。但是對於事件模式 ...
mysql百萬級分頁優化
普通分頁 數據分頁在網頁中十分多見，分頁一般都是limit start,offset,然后根據頁碼page計算start 這種分頁在幾十萬的時候分頁效率就會比較低了， ...
使用Linq 做數據去重
#region 數據去重復 var reslut = new List<string>(); 需要去重的數據集合 if (!string.IsNullOrEmpty(query.First().MergeOrders ...
如何設計一個百萬級用戶的抽獎系統？
目錄 1.抽獎系統的背景引入 2.結合具體業務需求分析抽獎系統 3.一個未經過優化的系統架構 4.負載均衡層的限流 5.Tomcat線程數量的優化 6.基於Redis實現抽獎業務邏輯 7 ...