1. 处理海量数据问题的四板斧 分治 基本上处理海量数据的问题，分治思想都是能够解决的，只不过一般情况下不会是最优方案，但可以作为一个baseline，可以逐渐优化子问题来达到一个较优解。传统的归并排序就是分治思想，涉及到大量无法加载到内存的文件、排序等问题都可以 ...

Hash表算法处理海量数据处理面试题 主要针对遇到的海量数据处理问题进行分析，参考互联网上的面试题及相关处理方法，归纳为三种问题 　　（1）数据量大，内存小情况处理方式（分而治之+Hash映射） 　　（2）判断元素是否在集合中（布隆过滤器+BitMap） 　　（3）各种TOPN ...

【什么是Hash】 Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出 ...

前言 　　随着互联网的发展，分布式技术的逐渐成熟，动态水平扩展和自动容灾备份、一键部署等技术方案不断成熟，各大中小互联网企业都在尝试切换将产品的技术方案到分布式的方案，但是分布式的技术方案有一个业内比较难以解决的问题，就是分布式事务的处理，大部分都是将业务尽量限制在同库中，避免跨库事务，或者采用 ...

1. 缓存和页面静态化　　数据 量大 这个 问题 最 直接 的 解决 方案 就是 使用 缓存， 缓存 就是 将从 数据库 中 获取 的 结果 暂时 保存 起来， 在下 次 使用 的 时候 无需 重新 到 数据库 中 获取， 这样 可以 大大 降低 数据库 的 压力。 　　缓存的使用方式 ...

任何中间文件。 ２．海量视频数据存储 存储海量视频数据的思路：通过hadoop提供的api结构，实现将 ...

simhash算法：海量千万级的数据去重 simhash算法及原理参考： 简单易懂讲解simhash算法 hash 哈希：https://blog.csdn.net/le_le_name/article/details/51615931 simhash算法及原理简介：https ...

问题描述 积分排名在很多项目都会出现，积分排名主要满足以下需求： 查询用户名次。 查询TopN(即查询前N名的用户) 实时排名（很多项目是可选的） 当排序的数据量不大的时候，这个需求很容易满足，但是如果数据量很大的时候比如百万级、千万级甚至上亿的时候，或者有实时排名 ...