用FlexGrid做开发，轻松处理百万级表格数据
表格数据处理是我们项目开发中经常会遇到的设计需求之一，所需处理的数据量也较大，通常是万级、甚至百万级。此时，完全依赖平台自带的表格工具，往往无法加载如此大的数据量，或者加载得很慢影响程序执行。 那么，有没有好的开发工具，能实现加载大量数据的需求，同时不影响程序执行? 介绍一款 ...
原文：用bitSet做百万级ip去重
如果直接将几百万数据仍到bitset，内存是否够用 实际测试， 万ip放到一个bitSet中，jvm内存会爆。 所以，就简单做了下分组，构建一个HashMap lt String, BitSet gt ， 以 . . . 为例，将 . 直接截取为字符串，当作hashmap的key，后 位补零为 ，将 放入 . 分组的bitSet中。 适用场景： 这种构建bitSet的去重方式，适合判断某个ip是否 ...
2018-06-28 19:28 0 890 推荐指数：
相关推荐
用FlexGrid做开发，轻松处理百万级表格数据
表格数据处理是我们项目开发中经常会遇到的设计需求之一，所需处理的数据量也较大，通常是万级、甚至百万级。此时，完全依赖平台自带的表格工具，往往无法加载如此大的数据量，或者加载得很慢影响程序执行。 那么，有没有好的开发工具，能实现加载大量数据的需求，同时不影响程序执行？介绍一款高效轻量的数据处理 ...
使用bitset实现毫秒级查询
前言 因为业务要求api的一次请求响应时间在10ms以内，所以传统的数据库查询操作直接被排除(网络io和磁盘io)。通过调研，最终使用了bitset,目前已经正常运行了很久 bitset介绍 看JDK中的解释简直一头雾水，用我自己的理解概括一下 bitset的内部实现是long ...
用Spark做去重操作
#原理很简单：先是通过flatMap函数，把rdd进行扁平化操作，再用map函数得到(k,1)的样式，然后再用groupByKey函数，合并value值，就相当于对key进行去重操作，再用keys()函数，取出key 实验数据：delcp.txt ...
如何高效读写百万级的Excel?
高效读取百万级数据 接上一篇介绍的高效写文件之后，最近抽时间研究了下Excel文件的读取。概括来讲，poi读取excel有两种方式：用户模式和事件模式。 然而很多业务场景中的读取Excel仍然采用用户模式，但是这种模式需要创建大量对象，对大文件的支持非常不友好，非常容易OOM。但是对于事件模式 ...
mysql百万级分页优化
普通分页 数据分页在网页中十分多见，分页一般都是limit start,offset,然后根据页码page计算start 这种分页在几十万的时候分页效率就会比较低了， ...
使用Linq 做数据去重
#region 数据去重复 var reslut = new List<string>(); 需要去重的数据集合 if (!string.IsNullOrEmpty(query.First().MergeOrders ...
如何设计一个百万级用户的抽奖系统？
目录 1.抽奖系统的背景引入 2.结合具体业务需求分析抽奖系统 3.一个未经过优化的系统架构 4.负载均衡层的限流 5.Tomcat线程数量的优化 6.基于Redis实现抽奖业务逻辑 7 ...