google曾經有一道面試題，十分有趣： I have a linked list of numbers of length N. N is very large and I don’t kno ...

隨機讀取數據，如何保證真隨機是不可能的，因為計算機的隨機函數是偽隨機的。 但是在不考慮計算機隨機函數的情況下，如何保證數據的隨機采樣呢？ 1.系統提供的shuffle函數 　　C++/Java都 ...

蓄水池抽樣算法簡介 蓄水池抽樣算法隨機算法的一種，用來從 N 個樣本中隨機選擇 K 個樣本，其中 N 非常大（以至於 N 個樣本不能同時放入內存）或者 N 是一個未知數。其時間復雜度為 O(N),包含下列步驟 (假設有一維數組 S, 長度未知，需要從中隨機選擇 k 個元素, 數組下標 ...

問題描述 給定一個數據流，數據流長度 N 很大，且 N 直到處理完所有數據之前都不可知，請問如何在只遍歷一遍數據（O(N)）的情況下，能夠隨機選取出 m 個不重復的數據。 比較直接的想法是利用隨機數算法，求 random(N) 得到隨機數，但是題目表明數據流極大，這種大數據量是無法一次都讀到 ...

簡介 作用:水塘抽樣算法是一種抽樣算法,對於一個很大的集合,抽取的樣本值能夠保證隨機. 特點:其復雜度並不很高O(n),並且能夠很大程度地節省內存. 問題導入 很多大公司的面試題都考察過這個算法,以谷歌為例,有一道關於水塘抽樣的例題 我有一個長度為N的鏈表,N的值非常大,我不清楚N ...

概率抽樣方法： 1. 隨機抽樣（random sampling）：從有限總體中簡單隨機抽樣或從無限總體中隨機抽樣。 具體實現方式：a. 抽簽法；b. 隨機數字法 2. 分層抽樣（stratified sampling）：將總體單位按某種特征或某種規則划分為不同的層(Strata ...

蓄水池采樣算法 問題描述分析 采樣問題經常會被遇到，比如： 從 100000 份調查報告中抽取 1000 份進行統計。 從一本很厚的電話簿中抽取 1000 人進行姓氏統計。 從 Google 搜索 "Ken Thompson"，從中抽取 100 個結果查看哪些是今年 ...

4.3 抽樣（Sampling） 用基於MapReduce的程序來處理TB級的數據集，要花費的時間可能是數以小時計。僅僅是優化代碼是很難達到良好的效果。 在開發和調試代碼的時候，沒有必要處理整個數據集。但如果在這種情況下要保證數據集能夠被正確地處理，就需要用到抽樣了。抽樣是統計學中的一個方法 ...