原文:Apache Spark 2.2.0 中文文檔 - Spark Streaming 編程指南

Spark Streaming 編程指南 概述 一個入門示例 基礎概念 依賴 初始化 StreamingContext Discretized Streams DStreams 離散化流 Input DStreams 和 Receivers 接收器 DStreams 上的 Transformations 轉換 DStreams 上的輸出操作 DataFrame 和 SQL 操作 MLlib 操作 ...

2017-12-26 14:31 0 1043 推薦指數:

查看詳情

Spark 2.2.0 文檔中文Spark Programming Guide 編程指南

  綜述:   在高層中,每個spark應用由一個運行用戶主函數的driver program和執行各種集群上的parallel operations所組成。spark最主要的概念:RDD彈性分布式數據集,它是一個跨越“可並行操作集群”所有節點的基本分區的集合。RDDs可被多種方式創建 ...

Wed Jul 19 22:53:00 CST 2017 2 3221
Spark Streaming編程指南

Overview A Quick Example Basic Concepts Linking Initializing StreamingContext ...

Sat Feb 10 00:05:00 CST 2018 0 3317
Spark Streaming 編程入門指南

Spark Streaming 是核心Spark API的擴展,可實現實時數據流的可伸縮,高吞吐量,容錯流處理。可以從許多數據源(例如Kafka,Flume,Kinesis或TCP sockets)中提取數據,並且可以使用復雜的算法處理數據,這些算法用高級函數表示,如map、reduce、join ...

Sat Apr 11 22:19:00 CST 2020 0 1138
Spark 3.2.1 Structured Streaming編程指南

一.概述 Structured Streaming是一個可擴展、容錯的流處理引擎,建立在Spark SQL引擎之上。開發者可以用離線批處理數據相同的表示來表示流計算的邏輯,並且保持其邏輯的一致性(流批一體)。Spark SQL引擎會處理好增量連續運行,並隨着流式數據的接收持續更新最終結果。開發者 ...

Fri Apr 08 01:58:00 CST 2022 0 627
Spark權威指南(中文版)----第1章Apache Spark是什么

Spark The Definitive Guide Spark權威指南 中文版。關注公眾號,閱讀中文版的Spark權威指南,系統學習Spark大數據框架! Apache Spark是一個統一的分布式內存計算引擎,包括一組用於在計算機集群上進行並行數據處理的函數庫。截止目前,Spark ...

Thu Aug 19 23:48:00 CST 2021 0 121
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM