fit_transform和transform的區別


部分轉載

https://blog.csdn.net/weixin_38278334/article/details/82971752

https://www.cnblogs.com/summer-nude/p/7380694.html

寫在前面
fit和transform沒有任何關系,僅僅是數據處理的兩個不同環節,之所以出來fit_transform這個函數名,僅僅是為了寫代碼方便,會高效一點。

sklearn里的封裝好的各種算法使用前都要fit,fit相對於整個代碼而言,為后續API服務。fit之后,然后調用各種API方法,transform只是其中一個API方法,所以當你調用transform之外的方法,也必須要先fit。

fit原義指的是安裝、使適合的意思,其實有點train的含義,但是和train不同的是,它並不是一個訓練的過程,而是一個適配的過程,過程都是確定的,最后得到一個可用於轉換的有價值的信息。

fit,transform,fit_transform常用情況分為兩大類

#(fit(x,y)傳兩個參數的是有監督學習的算法,fit(x)傳一個參數的是無監督學習的算法,比如降維、特征提取、標准化)
1. 數據預處理中方法
fit(): Method calculates the parameters μ and σ and saves them as internal objects.
--解釋:簡單來說,就是求得訓練集X的均值,方差,最大值,最小值,這些訓練集X固有的屬性。

transform(): Method using these calculated parameters apply the transformation to a particular dataset.
--解釋:在fit的基礎上,進行標准化,降維,歸一化等操作(看具體用的是哪個工具,如PCA,StandardScaler等)。

fit_transform(): joins the fit() and transform() method for transformation of dataset.
--解釋:fit_transform是fit和transform的組合,既包括了訓練又包含了轉換。
transform()和fit_transform()二者的功能都是對數據進行某種統一處理(比如標准化~N(0,1),將數據縮放(映射)到某個固定區間,歸一化,正則化等)

fit_transform(trainData)對部分數據先擬合fit,找到該part的整體指標,如均值、方差、最大值最小值等等(根據具體轉換的目的),然后對該trainData進行轉換transform,從而實現數據的標准化、歸一化等等。

根據對之前部分trainData進行fit的整體指標,對剩余的數據(testData)使用同樣的均值、方差、最大最小值等指標進行轉換transform(testData),從而保證train、test處理方式相同

 

為什么X_train標准化是用fit_transform(),而X_test標准化是用transform()呢?

  • fit_transform()干了兩件事:fit找到數據轉換規則,並將數據標准化
  • transform:是將數據進行轉換,比如數據的歸一化和標准化,將測試數據按照訓練數據同樣的模型進行轉換,得到特征向量。可以直接把轉換規則拿來用,所以並不需要fit_transform(),否則,兩次標准化后的數據格式(或者說數據參數)就不一樣了


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM