1. 大数据量分批执行封装 1.1. 前言 在执行定时任务的时候，我们常常会有这样的需求，当数据量越来越大，可能你一次查询的数据就会导致内存溢出，所以我们后期往往又要再不断优化，比如分批处理，但分页以后代码量往往呈直线上升，且结构混乱更加复杂难懂，对此我就想写个封装方法，解决任何的分批数据 ...

描述，说吧数据也不算大，几十万，只可惜服务器和数据库以及项目优化不够，延迟贼高，所以搞个分批入库，解决下速度。直接开始撸。 ...

参考 ZTree 加载大数据量。 1、一次性加载大数据量加载说明 1)、zTree v3.x 针对大数据量一次性加载进行了更深入的优化，实现了延迟加载功能，即不展开的节点不创建子节点的 DOM。 2)、对于每级节点最多一百左右，但总节点数几千甚至几万，且不是全部展开的数据，一次性加载的效果最 ...

由于之前利用Winform的ListView进行大数据量加载的时候，诟病良多，所以今天试着用WPF的ListView来做了一下，结果没有让我失望，我将一个拥有43000行，510列的csv文件导入到了ListView中，总共耗时在10s左右，并且在导入的过程中，软件界面上的提示信息一直在 ...

对接入库数据，有时候数据量比较大，需要分批入库，写了一个分批入库的小方法 简单记录使用 ...

　　最近在公司备份数据库数据，简单的看了一下。当然我用的是简单的手动备份。 　　第一：其实最好的方法是直接用： 　　mysqldump -u用户名 -p密码 数据库名 < 数据库名.sql 在linux在操作的，测试过一个一万多行的导入数据，共121m。在linux下，几秒 ...

bloom-filter 算法 场景：我说的大数据量处理是指同时需要对数据进行检索查询，同时有高并发的增删改操作； 记得以前在XX做电力时，几百万条数据，那时一个检索查询可以让你等你分钟； 现在我是想探讨下对大数据量的处理，那时我就在想例如腾讯，盛大，动辄数以亿计的帐号,怎么能 ...

近几天做了一个项目，需要解析大量的json数据，有一万多条，以前我用的都是Gson包去自动解析，但是速度真是不敢恭维，于是我又去查了其它的方法，发现fastjson的解析，发现速度直的是很快，在此我不得不佩服，这个包的作者，直是很厉害，能写出这样一个工具，我在网上看了，这个工具还有很多问题，但也 ...