目錄 Spark簡介 整體認識 基本概念 核心概念 Spark部署 部署環境 Hadoop安裝 Spark安裝 scala安裝 簡單示例：WordCount（Spark ...

目錄 前言 累加器 廣播變量 更新廣播變量(rebroadcast) 總結 參考文獻 前言 Spark踩坑記——初試 Spark踩坑記——數據庫（Hbase+Mysql） Spark踩坑記——Spark ...

收錄待用，修改轉載已取得騰訊雲授權 前言 前面總結的幾篇spark踩坑博文中，我總結了自己在使用spark過程當中踩過的一些坑和經驗。我們知道Spark是多機器集群部署的，分為Driver/Master/Worker，Master負責資源調度，Worker是不同的運算節點，由Master ...

目錄 優化elastic集群踩過的坑 原架構 新架構 想象很美好、過程很艱辛、結果很nice 優化elastic集群踩過的坑 原架構 新架構 想象很美好、過程很艱辛、結果很nice 經過上面的架構調整，es集群 ...

Scala： Python： 因為spark交叉驗證的數據集必須是data frame，也是醉了！ ...

目錄 前言 Spark streaming接收Kafka數據 基於Receiver的方式 直接讀取方式 Spark向kafka中寫入數據 Spark streaming+Kafka應用 Spark ...

　　初次嘗試用 Spark+scala 完成項目的重構，由於兩者之前都沒接觸過，所以邊學邊用的過程大多艱難。首先面臨的是如何快速上手，然后是代碼調優、性能調優。本章主要記錄自己在項目中遇到的問題以及解決方式，下篇會嘗試調優方法。末尾會分享自己的學習資料，也供大多菜鳥第一次使用作為參考。由於自己項目 ...

目錄 前言 Spark Streaming持久化設計模式 DStreams輸出操作 使用foreachRDD的設計模式 Spark訪問Hbase Hbase通用連接類 Hbase輸出操作 填坑記錄 ...