MySQL大数据量的导入
最近在公司备份数据库数据，简单的看了一下。当然我用的是简单的手动备份。 第一：其实最好的方法是直接用： mysqldump -u用户名 -p密码 数据库名 < 数据库名.sql 在linux在操作的，测试过一个一万多行的导入数据，共121m。在linux下，几秒 ...
原文：对大数据量进行排序--位图法
题目：对 G的数据量进行排序，这是基本要求。 数据： 每个数据不大于 亿 数据类型位int 每个数据最多重复一次。 内存：最多用 M的内存进行操作。 我听过很多种类似问题的解法，有的是内存多次利用，有的用到了外存，我觉得这两种做法都不是比较好的思想，太慢。由于这个题目看起来没有对效率进行约束，所以这两种方法也是对的，但是我这次提出一个比较好的算法来解答此题，如果有更好的做法请赶快跟帖留言，共同讨论 ...
2017-07-27 18:37 0 4002 推荐指数：
相关推荐
探讨大数据量处理
bloom-filter 算法 场景：我说的大数据量处理是指同时需要对数据进行检索查询，同时有高并发的增删改操作； 记得以前在XX做电力时，几百万条数据，那时一个检索查询可以让你等你分钟； 现在我是想探讨下对大数据量的处理，那时我就在想例如腾讯，盛大，动辄数以亿计的帐号,怎么能 ...
对于大数据量的Json解析
近几天做了一个项目，需要解析大量的json数据，有一万多条，以前我用的都是Gson包去自动解析，但是速度真是不敢恭维，于是我又去查了其它的方法，发现fastjson的解析，发现速度直的是很快，在此我不得不佩服，这个包的作者，直是很厉害，能写出这样一个工具，我在网上看了，这个工具还有很多问题，但也 ...
大数据量的排序算法 -最小堆排序算法
今天有人推荐了一个排序算法：最小堆排序算法。号称能处理10亿数据的排序问题. 正好将要面临2.5亿数据的查询计算比对问题，从没面对过如此大的数据量，之前处理过最大的表不过3000万，心里正有些惴惴不安。正好把这个算法拿来学习揣摩一番。 刚开始随手写了个递归排序，本以为想法是比对一下 ...
大数据位图法（无重复排序，重复排序，去重复排序，数据压缩）之Java实现
1，位图法介绍 位图的基本概念是用一个位（bit）来标记某个数据的存放状态，由于采用了位为单位来存放数据，所以节省了大量的空间。举个具体的例子，在Java中一般一个int数字要占用32位，如果能用一位就表示这个数，就可以缩减大量的存储空间。一般把这种方法称为位图法，即Bitmap ...
java.lang.OutOfMemoryError：Java进行大数据量查询内存溢出
1）：今天进行库存查询，select * from table 查询出来的数据量只有2万多条，却报了内存溢出的错误，于是采用了分页的方式进行读取。 方法之一：在连接MySQL的URL后加两个参数：useCursorFetch=true&defaultFetchSize ...
总结MySQL大数据量下如何进行优化
写在建库前： 在确定数据库业务后、建立数据库表格时，就应对一些常见问题有所考虑，以避免在数据增长一段时间后再做应对，可能造成时间及维护成本增加： 数据的月增量，年增量 数据的快速增长点 是否需要触发器或事件等 查询业务需求 服务器访问量 以上的考虑项，对数据库的类型 ...
SQL Server 使用bcp进行大数据量导出导入
查询以指定要传输的数据】两种模式，第一种是直接对表、视图进行全部字段、记录进行导出，而第二种就是可以通 ...