curse of dimensionality維數災難


或者翻譯成維度的咒語,這個咒語出現在很多方面:

sampling采樣

如果數據是低維的,所需的采樣點相對就比較少;如果數據是高維的,所需的采樣點就會指數級增加,而實現中面對高維問題時往往無法獲得如此多的樣本點(即使獲得了也無法處理這么龐大數據量),樣本少不具有代表性自然不能獲得正確的結果。

combinatorics組合數學

由於每個維度上候選集合是固定的,維度增加后所有組合的總數就會指數級增加。

machine learning機器學習

在機器學習中要求有相當數量的訓練數據含有一些樣本組合。給定固定數量的訓練樣本,其預測能力隨着維度的增加而減小,這就是所謂的Hughes影響Hughes現象。

data mining數據挖掘

在組織和搜索數據時有賴於檢測對象區域,這些區域中的對象通過相似度屬性而形成分組。然而在高維空間中,所有的數據都很稀疏,從很多角度看都不相似,因而平常使用的數據組織策略變得極其低效。

距離在高維環境下失去意義

在某種意義上,幾乎所有的高維空間都遠離其中心,或者從另一個角度來看,高維單元空間可以說是幾乎完全由超立方體的“邊角”所組成的,沒有“中部”。一維正態分布有68%的值落於正負標准差之間,而在十維空間上只有0.02%。這對於理解卡方分布是很重要的直覺理解。

卡方分布:若N個隨機變量服從標准正態分布,那么它們的平方和(注意在計算歐氏距離時就要用到各個變量的平方和)構成的新的變量服從卡方分布,N是自由度。下面是其概率密度圖:

自由度越大(維度越高)時,圖形越”平闊“。

然而,也由於本征維度的存在,其概念是指任意低維數據空間可簡單地通過增加空余(如復制)或隨機維將其轉換至更高維空間中,相反地,許多高維空間中的數據集也可削減至低維空間數據,而不必丟失重要信息。這一點也通過眾多降維方法的有效性反映出來,如應用廣泛的主成分分析方法。針對距離函數和最近鄰搜索,當前的研究也表明除非其中存在太多不相關的維度,帶有維數災難特色的數據集依然可以處理,因為相關維度實際上可使得許多問題(如聚類分析)變得更加容易。另外,一些如馬爾可夫蒙特卡羅或共享最近鄰搜索方法[3]經常在其他方法因為維數過高而處理棘手的數據集上表現得很好。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM