大数据量的算法面试题
作者：July、youwang、yanxionglu。时间：二零一一年三月二十六日说明：本文分为俩部分，第一部分为10道海量数据处理的面试题，第二部分为10个海量数据处理的方法总结。有任何问题，欢迎交流、指正。出处：http://blog.csdn.net/v_JULY_v。 第一部 ...
原文：地图区域大数据量 marker 坐标点高效抽稀算法
按网上的思路一般要写双层循环，第一层循环遍历点集合，时间复杂度为O N ，第二层循环遍历结果集，逐一计算距离，距离小于阈值的不加入结果集，距离大于阈值的加入结果集，时间复杂度为O M ，双层循环总时间复杂度为O N M 。 新的算法思路：坐标点的经纬度经过计算得到的结果作为HashMap的Key，坐标相近的点的Key相同，利用HashMap降低时间复杂度，不需要第二层循环遍历，把时间复杂度由O N ...
2021-09-10 14:19 0 117 推荐指数：
相关推荐
抽稀算法优化地图轨迹性能
公司有个需求需要实时绘制扫地机的清洁路径，但是上报的点几千个后，svg绘制就会很卡，决定使用抽稀算法减少些定位点，优化性能。 util.js 优化前 优化后 ...
MySQL大数据量的导入
最近在公司备份数据库数据，简单的看了一下。当然我用的是简单的手动备份。 第一：其实最好的方法是直接用： mysqldump -u用户名 -p密码 数据库名 < 数据库名.sql 在linux在操作的，测试过一个一万多行的导入数据，共121m。在linux下，几秒 ...
使用OPENROWSET、Microsoft.ACE.OLEDB实现大数据量的高效导入
首先说明使用的环境是：java和Sqlserver。 最近公司需要进行大数据量的导入操作。原来使用的是Apache POI，虽然可以实现功能，但是因为逻辑处理中需要进行许多校验，处理速度太慢，使用多线程之后也不尽如人意。在网上搜索之后，找到了OPENROWSET和OPENDATASOURCE ...
大数据量情况下高效比较两个list
比如，对两个list<object>进行去重，合并操作时，一般的写法为两个for循环删掉一个list中重复的，然后再合并。 如果数据量在千条级别，这个速度还是比较快的。但如果数据量超过20W+（比如大批量的导入数据并对数据进行处理）时，则这块代码执行时间会比较长，非常影响用户 ...
探讨大数据量处理
bloom-filter 算法 场景：我说的大数据量处理是指同时需要对数据进行检索查询，同时有高并发的增删改操作； 记得以前在XX做电力时，几百万条数据，那时一个检索查询可以让你等你分钟； 现在我是想探讨下对大数据量的处理，那时我就在想例如腾讯，盛大，动辄数以亿计的帐号,怎么能 ...
对于大数据量的Json解析
近几天做了一个项目，需要解析大量的json数据，有一万多条，以前我用的都是Gson包去自动解析，但是速度真是不敢恭维，于是我又去查了其它的方法，发现fastjson的解析，发现速度直的是很快，在此我不得不佩服，这个包的作者，直是很厉害，能写出这样一个工具，我在网上看了，这个工具还有很多问题，但也 ...