推薦系統之余弦相似度的Spark實現

推薦系統之余弦相似度的Spark實現

（1）原理分析

   余弦相似度度量是相似度度量中最常用的度量關系，從程序分析中，

• 第一步是數據的輸入，
• 其次是使用相似性度量公式
• 最后是對不同用戶的遞歸計算。

   本例子是基於歐幾里得舉例的相似度計算。

（2）源代碼

package com.bigdata.demo

import org.apache.spark.{SparkContext, SparkConf}

/**
  * Created by SimonsZhao on 3/29/2017.
  */
object CollaborativeFilteringSpark {
  //1.設置環境變量
  val conf=new SparkConf().setMaster("local").setAppName("CollaborativeFilteringSpark")
  //2.實例化環境
  val sc=new SparkContext(conf)
  //3.設置用戶
  val users=sc.parallelize(Array("aaa","bbb","ccc","ddd","eee"))
  //4.設置電影名
  sc.parallelize(Array("smzdm","ylxb","znb","nhsc","fcwr"))
  //5.使用一個source嵌套map作為姓名電影名和分值的存儲
  var source=Map[String,Map[String,Int]]()
  //6.設置一個用以存放電影分的map
  val filmSource =Map[String,Int]()
  //7.設置電影評分
  def getSource():Map[String,Map[String,Int]]={
    val user1FilmSource=Map("smzdm"->2,"ylxb"->3,"znb"->1,"nhsc"->0,"fcwr"->1)
    val user2FilmSource=Map("smzdm"->1,"ylxb"->2,"znb"->2,"nhsc"->1,"fcwr"->4)
    val user3FilmSource=Map("smzdm"->2,"ylxb"->1,"znb"->0,"nhsc"->1,"fcwr"->4)
    val user4FilmSource=Map("smzdm"->3,"ylxb"->2,"znb"->0,"nhsc"->5,"fcwr"->3)
    val user5FilmSource=Map("smzdm"->5,"ylxb"->3,"znb"->1,"nhsc"->1,"fcwr"->2)
    //存儲人的名字
    source += ("aaa" -> user1FilmSource)
    //存儲人的名字
    source += ("bbb" -> user2FilmSource)
    //存儲人的名字
    source += ("ccc" -> user3FilmSource)
    //存儲人的名字
    source += ("ddd" -> user4FilmSource)
    //存儲人的名字
    source += ("eee" -> user5FilmSource)
    //返回嵌套的map
    source
  }
  //采用余弦相似度兩兩計算分值
  def getCollaborateSource(user1:String,user2:String):Double={
    //獲得第一個用戶的評分
      val user1FilmSource =source.get(user1).get.values.toVector
    //獲得第二個用戶的評分
      val user2FileSource=source.get(user2).get.values.toVector
    //對公示分子部分進行計算
      val member=user1FilmSource.zip(user2FileSource).map(d => d._1 *d._2).reduce(_+_).toDouble
    //求解分母的第一個變量
      val temp1=math.sqrt(user1FilmSource.map(num=>{math.pow(num,2)}).reduce(_+_))
    //求解分母第二個變量
      val temp2=math.sqrt(user2FileSource.map(num=>{math.pow(num,2)}).reduce(_+_))
    //求出分母
      val denominator=temp1*temp2
    //求出分式的值
      member/denominator
  }
  def main(args: Array[String]) {
    //初始化分數
    getSource()
    //設定目標對象
    val name="bbb"
    //進行迭代計算
    users.foreach(user=>{
      println(name+" 相對於"+user+"的相似性分數是："+getCollaborateSource(name,user))
    })
  }
}

點擊可復制代碼

package com.bigdata.demo

import org.apache.spark.{SparkContext, SparkConf}

/**
  * Created by SimonsZhao on 3/29/2017.
  */
object CollaborativeFilteringSpark {
  //1.設置環境變量
  val conf=new SparkConf().setMaster("local").setAppName("CollaborativeFilteringSpark")
  //2.實例化環境
  val sc=new SparkContext(conf)
  //3.設置用戶
  val users=sc.parallelize(Array("aaa","bbb","ccc","ddd","eee"))
  //4.設置電影名
  sc.parallelize(Array("smzdm","ylxb","znb","nhsc","fcwr"))
  //5.使用一個source嵌套map作為姓名電影名和分值的存儲
  var source=Map[String,Map[String,Int]]()
  //6.設置一個用以存放電影分的map
  val filmSource =Map[String,Int]()
  //7.設置電影評分
  def getSource():Map[String,Map[String,Int]]={
    val user1FilmSource=Map("smzdm"->2,"ylxb"->3,"znb"->1,"nhsc"->0,"fcwr"->1)
    val user2FilmSource=Map("smzdm"->1,"ylxb"->2,"znb"->2,"nhsc"->1,"fcwr"->4)
    val user3FilmSource=Map("smzdm"->2,"ylxb"->1,"znb"->0,"nhsc"->1,"fcwr"->4)
    val user4FilmSource=Map("smzdm"->3,"ylxb"->2,"znb"->0,"nhsc"->5,"fcwr"->3)
    val user5FilmSource=Map("smzdm"->5,"ylxb"->3,"znb"->1,"nhsc"->1,"fcwr"->2)
    //存儲人的名字
    source += ("aaa" -> user1FilmSource)
    //存儲人的名字
    source += ("bbb" -> user2FilmSource)
    //存儲人的名字
    source += ("ccc" -> user3FilmSource)
    //存儲人的名字
    source += ("ddd" -> user4FilmSource)
    //存儲人的名字
    source += ("eee" -> user5FilmSource)
    //返回嵌套的map
    source
  }
  //采用余弦相似度兩兩計算分值
  def getCollaborateSource(user1:String,user2:String):Double={
    //獲得第一個用戶的評分
      val user1FilmSource =source.get(user1).get.values.toVector
    //獲得第二個用戶的評分
      val user2FileSource=source.get(user2).get.values.toVector
    //對公示分子部分進行計算
      val member=user1FilmSource.zip(user2FileSource).map(d => d._1 *d._2).reduce(_+_).toDouble
    //求解分母的第一個變量
      val temp1=math.sqrt(user1FilmSource.map(num=>{math.pow(num,2)}).reduce(_+_))
    //求解分母第二個變量
      val temp2=math.sqrt(user2FileSource.map(num=>{math.pow(num,2)}).reduce(_+_))
    //求出分母
      val denominator=temp1*temp2
    //求出分式的值
      member/denominator
  }
  def main(args: Array[String]) {
    //初始化分數
    getSource()
    //設定目標對象
    val name="bbb"
    //進行迭代計算
    users.foreach(user=>{
      println(name+" 相對於"+user+"的相似性分數是："+getCollaborateSource(name,user))
    })
  }
}

（3）結果分析