MySQL大数据量的导入
最近在公司备份数据库数据，简单的看了一下。当然我用的是简单的手动备份。 第一：其实最好的方法是直接用： mysqldump -u用户名 -p密码 数据库名 < 数据库名.sql 在linux在操作的，测试过一个一万多行的导入数据，共121m。在linux下，几秒 ...
原文：对于大数据量的Json解析
近几天做了一个项目，需要解析大量的json数据，有一万多条，以前我用的都是Gson包去自动解析，但是速度真是不敢恭维，于是我又去查了其它的方法，发现fastjson的解析，发现速度直的是很快，在此我不得不佩服，这个包的作者，直是很厉害，能写出这样一个工具，我在网上看了，这个工具还有很多问题，但也可以理解， 人无完人嘛 ，何况是工具呢 ，所以自己研究了一下这个工具，在此分享给大家 ，希望有所帮助。对 ...
2017-01-06 15:39 0 4429 推荐指数：
相关推荐
探讨大数据量处理
bloom-filter 算法 场景：我说的大数据量处理是指同时需要对数据进行检索查询，同时有高并发的增删改操作； 记得以前在XX做电力时，几百万条数据，那时一个检索查询可以让你等你分钟； 现在我是想探讨下对大数据量的处理，那时我就在想例如腾讯，盛大，动辄数以亿计的帐号,怎么能 ...
【小笔记】大数据量excel解析工具性能对比
1. Excel存储格式及解析流程 1.1 存储格式 Excel本质上是以xml存储的，这些xml内容符合office open xml规范。把后缀名改为压缩文件的后缀名（zip，tar等等）可以看到其基本结构： 其主要数据内容保存于sharedString.xml ...
参考 ZTree 加载大数据量。加载慢问题解析
参考 ZTree 加载大数据量。 1、一次性加载大数据量加载说明 1)、zTree v3.x 针对大数据量一次性加载进行了更深入的优化，实现了延迟加载功能，即不展开的节点不创建子节点的 DOM。 2)、对于每级节点最多一百左右，但总节点数几千甚至几万，且不是全部展开的数据，一次性加载的效果最 ...
Java解析excel文件大数据量时，报OOM异常问题。
在解析EXCEL，JAVA 通常使用poi包下的 XSSFWorkbook 对象，但是，遇到海量数据（比如十几万条 或者 JVM堆设置了内存比较小时），就会抛出OOM异常，下面就放出解决方法。 直接上代码： package com.xxx.xxx.xxx.common.util ...
大数据量数据库优化
一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。 在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能 ...
你以为大数据的「大」，仅仅是指数据量吗？
硬盘，把所有这些数据都存储进去，大数据其实也挺简单嘛。对此，只能说： 首先必须明确一点：我们为什 ...
大数据量数据库优化
一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。 在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能 ...