Spark筆記——技術點匯總
目錄 · 概況 · 手工搭建集群 · 引言 · 安裝Scala · 配置文件 · 啟動與測試 · 應用部署 · 部署架構 · 應用程序 ...
原文：Spark Streaming筆記——技術點匯總
目錄 概況 原理 API DStream WordCount示例 Input DStream Transformation Operation Output Operation 緩存與持久化 Checkpoint 性能調優 降低批次處理時間 設置合理批次時間間隔 內存調優 概況 . SparkStreaming支持實時數據流的可擴展 scalable 高吞吐 high throughput 容錯 ...
2017-08-04 09:00 1 10398 推薦指數：
相關推薦
Spark SQL筆記——技術點匯總
目錄 · 概述 · 原理 · 組成 · 執行流程 · 性能 · API · 應用程序模板 · 通用讀寫方法 · RDD轉為DataFr ...
ZooKeeper筆記——技術點匯總
目錄 · ZooKeeper安裝 · 分布式一致性理論 · 一致性級別 · 集中式系統 · 分布式系統 · ACID特性 · CAP理論 ...
Hive筆記——技術點匯總
目錄 · 概況 · 手工安裝 · 引言 · 創建HDFS目錄 · 創建元數據庫 · 配置文件 · 測試 · 原理 · 架構 ...
Redis筆記——技術點匯總
目錄 · 特點 · 安裝 · 數據庫 · 服務器命令 · 數據類型及其操作命令 · 數據結構 · string · list · set · ...
JVM筆記——技術點匯總
目錄 · 初步認識 · Java里程碑（關鍵部分） · 理解虛擬機 · Java虛擬機種類 · Java語言規范 · Java虛擬機規范 · 基本 ...
Netty筆記——技術點匯總
目錄 · Linux網絡IO模型 · 文件描述符 · 阻塞IO模型 · 非阻塞IO模型 · IO復用模型 · 信號驅動IO模型 · 異步I ...
Spark Streaming筆記整理（一）：基本工作原理介紹
概述 大數據實時計算介紹 1、Spark Streaming，其實就是一種Spark提供的，對於大數據，進行實時計算的一種框架。它的底層，其實，也是基於我們之前講解的Spark Core的。基本的計算模型，還是基於內存的大數據實時計算模型。而且，它的底層的核心組件還是我們在Spark Core ...