postgresql批量新增数据时，批量插入的数据量太大了，造成了IO异常 只能把这么多数据先进行分割，再批量插入，但是感觉这种方式不是最优解，先暂时顶着，具体List分割方式如下： 原先批量调用的地方做个处理： ...

在很多时候，我们会需要对一个表进行插入大量的数据，并且希望在尽可能短的时间内完成该工作，这里，和大家分享下我平时在做大量数据insert的一些经验。 　　前提：在做insert数据之前，如果是非生产环境，请将表的索引和约束去掉，待insert完成后再建索引和约束。 　　1. ...

　　最近在公司备份数据库数据，简单的看了一下。当然我用的是简单的手动备份。 　　第一：其实最好的方法是直接用： 　　mysqldump -u用户名 -p密码 数据库名 < 数据库名.sql 在linux在操作的，测试过一个一万多行的导入数据，共121m。在linux下，几秒 ...

最近项目有个需求，把一张表中的数据根据一定条件增删改到另外一张表。按理说这是个很简单的SQL。可是在实际过程中却出现了超级长时间的执行过程。 后来经过排查发现是大数据量insert into xx select造成。 原因在于当insert into xx select数据量达到10万级别 ...

bloom-filter 算法 场景：我说的大数据量处理是指同时需要对数据进行检索查询，同时有高并发的增删改操作； 记得以前在XX做电力时，几百万条数据，那时一个检索查询可以让你等你分钟； 现在我是想探讨下对大数据量的处理，那时我就在想例如腾讯，盛大，动辄数以亿计的帐号,怎么能 ...

近几天做了一个项目，需要解析大量的json数据，有一万多条，以前我用的都是Gson包去自动解析，但是速度真是不敢恭维，于是我又去查了其它的方法，发现fastjson的解析，发现速度直的是很快，在此我不得不佩服，这个包的作者，直是很厉害，能写出这样一个工具，我在网上看了，这个工具还有很多问题，但也 ...

http://blog.csdn.net/jingshuaizh/article/details/43852513 update map中需要执行多个 update语句。 最后加上参数 " ...

导入100W的Csv数据，使用OpenCsv解析工具解析Csv，发现报错 报错内容 解析代码 报错位置发生在英文逗号处，一开始怀疑是英文逗号解析问题 Csv 文本报错位置 去掉当前位置英文逗号导入仍旧失败 后来查看源码发现默认的 CSVParser 会对反斜杠""进行处理 ...