java使用POI大数据量批量导出
1.问题背景 设计到几十张数据库表，每张表有几万到十几万数据不等，现在需要尽可能快的导出excel数据。 2.遇到的问题及解决思路 2.1 数据量大，生成速度慢。下载的文件太大。 使用多线程下载，一个表的数据分配一条线程，全部下载完成压缩成一个zip文件 ...
原文：使用ibatis处理大数据量批量插入更新问题
近期项目中遇到一个问题，有一批数据，少则几百条，多则上万条，需要向数据库中进行插入和更新操作，即：当数据库中有数据时，更新之，没有数据时，插入之。 解决问题的步骤如下： 首先想到的当然是用先根据条件select count from table where case ，判断select出的结果，如果结果 gt 则更新，等于 则插入。 随后发现这个有漏洞，这些漏洞也是这个问题的难点： ，数据量大，容 ...
2013-05-23 21:19 0 17267 推荐指数：
相关推荐
探讨大数据量处理
bloom-filter 算法 场景：我说的大数据量处理是指同时需要对数据进行检索查询，同时有高并发的增删改操作； 记得以前在XX做电力时，几百万条数据，那时一个检索查询可以让你等你分钟； 现在我是想探讨下对大数据量的处理，那时我就在想例如腾讯，盛大，动辄数以亿计的帐号,怎么能 ...
java mysql大数据量批量插入与流式读取分析
总结下这周帮助客户解决报表生成操作的mysql 驱动的使用上的一些问题，与解决方案。由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后在 生成大量的汇总数据然后写入到数据库。基本流程是 读取->处理->写入。 1 读取操作开始遇到的问题是当sql查询数据量比较大时候基本读 ...
Oracle基于3种方法的大数据量插入更新
、更新，通过forall批量sql执行 以下为模拟步骤： 1、创建模拟大表，数据量1亿不分区 ...
oracle基于3种方法的大数据量插入更新
过程插入更新的3种方法： a、逐条检查插入或更新，同时执行插入或更新 b、逐条merge into（逐条是为了记录过程日志与错误信息） c、基于关联数组的检查插入、更新，通过forall批量sql执行 以下为模拟步骤： 1、创建模拟大表，数据量1亿不分 ...
不重复大数据量的批量生成
在工作中，同事遇到一个需要批量生成不重复码的功能，之前我处理的都是用php 直接用数组 in_array解决的，那时候生成的数量倒还不多，大概也就几万个，所以直接将php的运行内存提高一点，然后就解决问题了。但是这次要处理的数据量比较大，是五千万个，就容易出现问题。 首先，运行内存是肯定不够 ...
总结：大数据量更新锁表、数据库连接超时的问题
*）问题背景： 从大数据量的表中，查出数据，做逻辑处理，之后，再更新回数据库。 出现的问题：更新数据库的时候，为了减少连接数据库的次数，在mybatis里用<foreach>标签循环拼接了update语句。在执行这个update的时候，锁表了（mysql数据 ...
MERGE INTO 解决大数据量 10w 更新缓慢的问题
有个同事处理更新数据缓慢的问题，数据量超10w的量，更新速度太慢耗时较长，然后改成了 MERGE INTO 效率显著提高。 使用方法如下 如： MERGE INTO TABLE_A USING (SELECT * FROM TABLE_C WHERE STUTAS ...