Spark MinMaxScaler 歸一化之最小最大值標准化

1、概述

MinMaxScaler轉換Vector行的數據集，將每個要素重新縮放到特定范圍（通常為[0，1]）。它帶有參數：

    最小值：默認為0.0。轉換后的下限，由所有功能共享。
    最大值：默認為1.0。轉換后的上限，由所有功能共享。

MinMaxScaler計算數據集的摘要統計信息並生成MinMaxScalerModel。然后，模型可以分別變換每個特征，以使其處於給定范圍內。

特征E的重定比例值計算為：

 

     

 

請注意，由於零值可能會轉換為非零值，所以即使對於稀疏輸入，轉換器的輸出也將是DenseVector。

2、code

package com.home.spark.ml

import org.apache.spark.SparkConf
import org.apache.spark.ml.feature.MinMaxScaler
import org.apache.spark.ml.linalg.Vectors
import org.apache.spark.sql.SparkSession

/**
  * @Description: 使用列摘要統計信息將每個特征分別線性地縮放到公共范圍[min，max] *，也稱為最小-最大規格化或重新縮放
  * 由於零值可能會轉換為非零值，因此即使對於稀疏輸入，轉換器的輸出也將是DenseVector
  **/
object Ex_MinMaxScaler {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf(true).setMaster("local[2]").setAppName("spark ml")
    val spark = SparkSession.builder().config(conf).getOrCreate()

    val dataFrame = spark.createDataFrame(Seq(
      (0, Vectors.dense(1.0, 0.1, -1.0)),
      (1, Vectors.dense(2.0, 1.1, 1.0)),
      (2, Vectors.dense(3.0, 10.1, 3.0))
    )).toDF("id", "features")

    val scaler = new MinMaxScaler().setInputCol("features").setOutputCol("scaledFeatures")

    val model = scaler.fit(dataFrame)

    val scaledData  = model.transform(dataFrame)

    println(s"Features scaled to range: [${scaler.getMin}, ${scaler.getMax}]")
    scaledData.select("features", "scaledFeatures").show()

    spark.stop()
  }
}

Features scaled to range: [0.0, 1.0]
+--------------+--------------+
|      features|scaledFeatures|
+--------------+--------------+
|[1.0,0.1,-1.0]| [0.0,0.0,0.0]|
| [2.0,1.1,1.0]| [0.5,0.1,0.5]|
|[3.0,10.1,3.0]| [1.0,1.0,1.0]|
+--------------+--------------+