注：本文思路已经应用于“飞梭TXT文本数据处理百宝箱”中，有兴趣的朋友可以下载试用。 我们知道，如果需要批量生成海量无重复的随机数据是个很麻烦的事情。如果每次生成都要和之前生成的数据进行比对的话，那效率会随着数据量的增大而越来越低，最后不堪忍受。今天介绍一种另类的思路，可以高效的做到随机数据无重复 ...

1.问题背景 　　设计到几十张数据库表，每张表有几万到十几万数据不等，现在需要尽可能快的导出excel数据。 2.遇到的问题及解决思路 　　2.1 数据量大，生成速度慢。下载的文件太大。 　　　　　使用多线程下载，一个表的数据分配一条线程，全部下载完成压缩成一个zip文件 ...

使用POI 的SXSSF (Streaming Usermodel API)生成较大的excel，同时开启压缩 遇到的问题： 错误是NPE错误，类似如下，原因是缺少字体或者环境变量未设置，需要安装"ttf-dejavu"字体，具体可以参考： https ...

　　最近在公司备份数据库数据，简单的看了一下。当然我用的是简单的手动备份。 　　第一：其实最好的方法是直接用： 　　mysqldump -u用户名 -p密码 数据库名 < 数据库名.sql 在linux在操作的，测试过一个一万多行的导入数据，共121m。在linux下，几秒 ...

bloom-filter 算法 场景：我说的大数据量处理是指同时需要对数据进行检索查询，同时有高并发的增删改操作； 记得以前在XX做电力时，几百万条数据，那时一个检索查询可以让你等你分钟； 现在我是想探讨下对大数据量的处理，那时我就在想例如腾讯，盛大，动辄数以亿计的帐号,怎么能 ...

近几天做了一个项目，需要解析大量的json数据，有一万多条，以前我用的都是Gson包去自动解析，但是速度真是不敢恭维，于是我又去查了其它的方法，发现fastjson的解析，发现速度直的是很快，在此我不得不佩服，这个包的作者，直是很厉害，能写出这样一个工具，我在网上看了，这个工具还有很多问题，但也 ...

近期项目中遇到一个问题，有一批数据，少则几百条，多则上万条，需要向数据库中进行插入和更新操作，即：当数据库中有数据时，更新之，没有数据时，插入之。 解决问题的步骤如下： 首先想到的当然是用先根据条件select count(*) from table where "case"，判断select ...

总结下这周帮助客户解决报表生成操作的mysql 驱动的使用上的一些问题，与解决方案。由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后在 生成大量的汇总数据然后写入到数据库。基本流程是 读取->处理->写入。 1 读取操作开始遇到的问题是当sql查询数据量比较大时候基本读 ...