一年前就研究過Fisher線性判別分析,到現在又忘得差不多了,在此特總結一下:
1、線性判別分析是統計學上的一種分析方法,用於在已知的分類之下遇到有新的樣本時,選定一個判別標准,以判定如何將新樣本放置於哪一個類別之中。主要用於二分類問題,對於多類問題則可以多次運用該方法就可以了;
2、Fisher線性判別分析的主要原理是將帶有類別標簽的高維樣本投影到一個向量w(一維空間)上,使得在該向量上2類樣本的投影值達到“低耦合高內聚“,即類內距離最小而累間距離最大,這樣便是分類效果最好的情況)這樣便可將問題轉化成一個確定w的優化問題。
3、其實w就是二分類問題的超分類面的法向量。
4、類似於SVM和kernel PCA,也有kernel FDA,其原理是將原樣本通過非線性關系映射到高維空間中,在該高緯空間利用FDA算法,這里的關鍵是w可以用原影本均值的高維投影值表示,這樣可以不需知道具體的映射關系而給出kernel的形式就可以了。
5、和PCA一樣,FDA也可以看成是一種特征提取(feature extraction)的方法,即將原來的n維特征變成一維的特征了(針對該分類只要有這一個特征就足夠了)。