花費 25 ms
spark 學習筆記 show()

函數重載 第一個參數:返回的行數 第二個參數:bool或者int類型,flase代表字段內容全部展示,true代表只展示20個字符,或者可以自動指定 第三個參數:是否垂直打印,默認 ...

Tue Aug 04 22:12:00 CST 2020 0 1965
map與flatmap的區別

總結 map的作用很容易理解就是對rdd之中的元素進行逐一進行函數操作,映射為另外一個rdd。 flatMap的操作是將函數應用於rdd之中的每一個元素,將返回的迭代器的所有內容構成新的rdd。通常 ...

Sat Apr 09 06:12:00 CST 2022 0 1694
spark 學習筆記 sample 算子

輸入參數:withReplacement、fraction,seed 返回: 數組集組成的RDD withReplacement:表示抽出樣本后是否在放回去,true表示會放回去,這 ...

Tue Aug 04 21:28:00 CST 2020 0 780
spark foreach

foreach 是一個action算子,不會觸發shuffle 讀取數據后,查看idea提示,foreach算子要求輸入一個函數,這個函數的輸入和數據相關(本次是String類型的變量), ...

Thu Dec 31 19:43:00 CST 2020 0 509
spark 學習筆記 dataframe注冊生成表

DataFrame注冊成一張表格,如果通過CreateTempView這種方式來創建,那么該表格Session有效,如果通過CreateGlobalTempView來創建,那么該表格跨Session ...

Tue Aug 04 19:30:00 CST 2020 0 667
spark2.3 消費kafka0.10數據

官網介紹 http://spark.apache.org/docs/2.3.0/streaming-kafka-0-10-integration.html#creating-a-direct-str ...

Fri Dec 13 21:57:00 CST 2019 0 268

 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM