google曾经有一道面试题，十分有趣： I have a linked list of numbers of length N. N is very large and I don’t kno ...

随机读取数据，如何保证真随机是不可能的，因为计算机的随机函数是伪随机的。 但是在不考虑计算机随机函数的情况下，如何保证数据的随机采样呢？ 1.系统提供的shuffle函数 　　C++/Java都 ...

蓄水池抽样算法简介 蓄水池抽样算法随机算法的一种，用来从 N 个样本中随机选择 K 个样本，其中 N 非常大（以至于 N 个样本不能同时放入内存）或者 N 是一个未知数。其时间复杂度为 O(N),包含下列步骤 (假设有一维数组 S, 长度未知，需要从中随机选择 k 个元素, 数组下标 ...

问题描述 给定一个数据流，数据流长度 N 很大，且 N 直到处理完所有数据之前都不可知，请问如何在只遍历一遍数据（O(N)）的情况下，能够随机选取出 m 个不重复的数据。 比较直接的想法是利用随机数算法，求 random(N) 得到随机数，但是题目表明数据流极大，这种大数据量是无法一次都读到 ...

简介 作用:水塘抽样算法是一种抽样算法,对于一个很大的集合,抽取的样本值能够保证随机. 特点:其复杂度并不很高O(n),并且能够很大程度地节省内存. 问题导入 很多大公司的面试题都考察过这个算法,以谷歌为例,有一道关于水塘抽样的例题 我有一个长度为N的链表,N的值非常大,我不清楚N ...

概率抽样方法： 1. 随机抽样（random sampling）：从有限总体中简单随机抽样或从无限总体中随机抽样。 具体实现方式：a. 抽签法；b. 随机数字法 2. 分层抽样（stratified sampling）：将总体单位按某种特征或某种规则划分为不同的层(Strata ...

蓄水池采样算法 问题描述分析 采样问题经常会被遇到，比如： 从 100000 份调查报告中抽取 1000 份进行统计。 从一本很厚的电话簿中抽取 1000 人进行姓氏统计。 从 Google 搜索 "Ken Thompson"，从中抽取 100 个结果查看哪些是今年 ...

4.3 抽样（Sampling） 用基于MapReduce的程序来处理TB级的数据集，要花费的时间可能是数以小时计。仅仅是优化代码是很难达到良好的效果。 在开发和调试代码的时候，没有必要处理整个数据集。但如果在这种情况下要保证数据集能够被正确地处理，就需要用到抽样了。抽样是统计学中的一个方法 ...