Spark Pipeline


  一個簡單的Pipeline,用作estimator。Pipeline由有序列的stages組成,每個stage是一個Estimator或者一個Transformer。

  當Pipeline調用fit,stages按順序被執行。如果一個stage是一個Estimator,將調用Estimator的fit方法,使用“輸入dataset”來擬合一個模型。 然后,作為transformer的model將dataset變換為下一個stage的輸入。

  如果一個stage是Transformer,調用Transformer的transform方法以產生下一個stage使用的數據集。

  從Pipeline擬合的model是PipelineModel,其由fitted models和transformers組成如果沒有stages,pipeline充當身份transformer。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM