情況一：二元分類 這部分使用的數據集是判斷網頁是暫時的還是長青的。因為涉及到了文本的信息，所以需要進行文本的數字化和向量化。 在這部分中，機器學習分為三個部分，第一部分是建立機器學習流程pipeline，第二部分是訓練，第三部分是預測。 在建立機器學習流程pipeline中包含4個階段 ...

一、關於spark ml pipeline與機器學習一個典型的機器學習構建包含若干個過程 1、源數據ETL 2、數據預處理 3、特征選取 4、模型訓練與驗證 以上四個步驟可以抽象為一個包括多個步驟的流水線式工作，從數據收集開始至輸出我們需要的最終結果。因此，對以上多個步驟、進行抽象建模，簡化 ...

Spark提供了常用機器學習算法的實現， 封裝於spark.ml和spark.mllib中. spark.mllib是基於RDD的機器學習庫， spark.ml是基於DataFrame的機器學習庫. 相對於RDD， DataFrame擁有更豐富的操作API, 可以進行更靈活的操作. 目前 ...

一、jenkins pipeline 1.jenkins 什么是Pipeline 要實現CD，先要實現CI。CD Pipeline就是一個代碼文件，里面把你項目業務場景都通過Groovy代碼和Pipeline語法實現，一個一個業務串聯起來，全部實現自動化，從代碼倉庫到生產環境完成部署的自動化 ...

[ML學習筆記] XGBoost算法 ##回歸樹 決策樹可用於分類和回歸，分類的結果是離散值（類別），回歸的結果是連續值（數值），但本質都是特征（feature）到結果/標簽（label）之間的映射。 這時候就沒法用信息增益、信息增益率、基尼系數來判定樹的節點分裂了，那么回歸樹采用新的方式 ...

Redis提供了5種數據結構,但除此之外,Redis還提供了注入慢查詢分析,Redis Shell、Pipeline、事務、與Lua腳本、Bitmaps、HyperLogLog、PubSub、GEO等附加功能,這些功能可以在某些場景發揮很重要的作用. https ...

　　一個簡單的Pipeline，用作estimator。Pipeline由有序列的stages組成，每個stage是一個Estimator或者一個Transformer。 　　當Pipeline調用fit，stages按順序被執行。如果一個stage是一個Estimator，將調用 ...

[ML學習筆記] 回歸分析（Regression Analysis） 回歸分析：在一系列已知自變量與因變量之間相關關系的基礎上，建立變量之間的回歸方程，把回歸方程作為算法模型，實現對新自變量得出因變量的關系。 回歸與分類的區別：回歸預測的是連續變量（數值），分類預測的是離散變量（類別 ...