scala學習筆記-集合操作（15）

Scala的集合體系結構

// Scala中的集合體系主要包括：Iterable、Seq、Set、Map。其中Iterable是所有集合trait的根trai。這個結構與Java的集合體系非常相似。

// Scala中的集合是分成可變和不可變兩類集合的，其中可變集合就是說，集合的元素可以動態修改，而不可變集合的元素在初始化之后，就無法修改了。分別對應scala.collection.mutable和scala.collection.immutable兩個包。

// Seq下包含了Range、ArrayBuffer、List等子trait。其中Range就代表了一個序列，通常可以使用“1 to 10”這種語法來產生一個Range。 ArrayBuffer就類似於Java中的ArrayList。

List

// List代表一個不可變的列表
// List的創建，val list = List(1, 2, 3, 4)
// List有head和tail，head代表List的第一個元素，tail代表第一個元素之后的所有元素，list.head，list.tail
// List有特殊的::操作符，可以用於將head和tail合並成一個List，0 :: list
// ::這種操作符要清楚，在spark源碼中都是有體現的，一定要能夠看懂！
// 如果一個List只有一個元素，那么它的head就是這個元素，它的tail是Nil

// 案例：用遞歸函數來給List中每個元素都加上指定前綴，並打印加上前綴的元素
def decorator(l: List[Int], prefix: String) {
  if (l != Nil) { 
    println(prefix + l.head)
    decorator(l.tail, prefix)
  }
}

LinkedList

// LinkedList代表一個可變的列表，使用elem可以引用其頭部，使用next可以引用其尾部
// val l = scala.collection.mutable.LinkedList(1, 2, 3, 4, 5); l.elem; l.next

// 案例：使用while循環將LinkedList中的每個元素都乘以2
val list = scala.collection.mutable.LinkedList(1, 2, 3, 4, 5)
var currentList = list
while (currentList != Nil) {
  currentList.elem = currentList.elem * 2
  currentList = currentList.next
}

// 案例：使用while循環將LinkedList中，從第一個元素開始，每隔一個元素，乘以2
val list = scala.collection.mutable.LinkedList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
var currentList = list
var first = true
while (currentList != Nil && currentList.next != Nil) {
  if (first) { currentList.elem = currentList.elem * 2; first = false }
  currentList  = currentList.next.next
  if (currentList != Nil) currentList.elem = currentList.elem * 2
}

Set

// Set代表一個沒有重復元素的集合
// 將重復元素加入Set是沒有用的，比如val s = Set(1, 2, 3); s + 1; s + 4
// 而且Set是不保證插入順序的，也就是說，Set中的元素是亂序的，val s = new scala.collection.mutable.HashSet[Int](); s += 1; s += 2; s += 5

// LinkedHashSet會用一個鏈表維護插入順序，val s = new scala.collection.mutable.LinkedHashSet[Int](); i += 1; s += 2; s += 5

// SrotedSet會自動根據key來進行排序，val s = scala.collection.mutable.SortedSet("orange", "apple", "banana")

集合的函數式編程

// 集合的函數式編程非常非常非常之重要！！！
// 必須完全掌握和理解Scala的高階函數是什么意思，Scala的集合類的map、flatMap、reduce、reduceLeft、foreach等這些函數，就是高階函數，因為可以接收其他函數作為參數
// 高階函數的使用，也是Scala與Java最大的一點不同！！！因為Java里面是沒有函數式編程的，也肯定沒有高階函數，也肯定無法直接將函數傳入一個方法，或者讓一個方法返回一個函數
// 對Scala高階函數的理解、掌握和使用，可以大大增強你的技術，而且也是Scala最有誘惑力、最有優勢的一個功能！！！
// 此外，在Spark源碼中，有大量的函數式編程，以及基於集合的高階函數的使用！！！所以必須掌握，才能看懂spark源碼

// map案例實戰：為List中每個元素都添加一個前綴
List("Leo", "Jen", "Peter", "Jack").map("name is " + _)

// faltMap案例實戰：將List中的多行句子拆分成單詞
List("Hello World", "You Me").flatMap(_.split(" "))

// foreach案例實戰：打印List中的每個單詞
List("I", "have", "a", "beautiful", "house").foreach(println(_))

// zip案例實戰：對學生姓名和學生成績進行關聯
List("Leo", "Jen", "Peter", "Jack").zip(List(100, 90, 75, 83))

函數式編程綜合案例：統計多個文本內的單詞總數

// 使用scala的io包將文本文件內的數據讀取出來
val lines01 = scala.io.Source.fromFile("C://Users//Administrator//Desktop//test01.txt").mkString
val lines02 = scala.io.Source.fromFile("C://Users//Administrator//Desktop//test02.txt").mkString
// 使用List的伴生對象，將多個文件內的內容創建為一個List
val lines = List(lines01, lines02)

// 下面這一行才是我們的案例的核心和重點，因為有多個高階函數的鏈式調用，以及大量下划線的使用，如果沒有透徹掌握之前的課講解的Scala函數式編程，那么下面這一行代碼，完全可能會看不懂！！！
// 但是下面這行代碼其實就是Scala編程的精髓所在，就是函數式編程，也是Scala相較於Java等編程語言最大的功能優勢所在
// 而且，spark的源碼中大量使用了這種復雜的鏈式調用的函數式編程
// 而且，spark本身提供的開發人員使用的編程api的風格，完全沿用了Scala的函數式編程，比如Spark自身的api中就提供了map、flatMap、reduce、foreach，以及更高級的reduceByKey、groupByKey等高階函數
// 如果要使用Scala進行spark工程的開發，那么就必須掌握這種復雜的高階函數的鏈式調用！！！

lines.flatMap(_.split(" ")).map((_, 1)).map(_._2).reduceLeft(_ + _)