一文讀懂spark yarn集群搭建
文是超簡單的spark yarn配置教程: yarn是hadoop的一個子項目，目的是用於管理分布式計算資源，在yarn上面搭建spark集群需要配置好hadoop和spark。我在搭建集群的時候有3台虛擬機，都是centos系統的。下面就開始一步一步地進行集群搭建。 一、配置hosts文件 ...
原文：一文讀懂 超簡單的spark structured stream 源碼解讀
為了讓大家理解structured stream的運行流程，我將根據一個代碼例子，講述structured stream的基本運行流程和原理。 下面是一段簡單的代碼: 這段代碼就是單詞計數。先從一個socket數據源讀入數據，然后以 為分隔符把一行文本轉換成單詞的DataSet，然后轉換成有標簽 word 的DataFrame，接着按word列進行分組，聚合計算每個word的個數。最后輸出到控制台 ...
2018-03-02 18:11 0 1238 推薦指數：
相關推薦
一文讀懂Redis
目錄結構如下： 簡介 Redis是一個高性能的key-value數據庫。Redis對數據的操作都是原子性的。 優缺點 優點： 基於內存操作，內存讀寫速度快。 Redis是單線程 ...
一文讀懂Servlet
1 Servlet簡介 Servlet就是sun公司開發動態web的一門技術 Sun在這些API中提供一個接口叫做：Servlet。 開發一個Servlet程序，只需兩步： ...
一文讀懂SASE
https://zhuanlan.zhihu.com/p/352580527 SASE作為網絡安全界熱詞之一，本文將從概念、價值、需求等六大方面為您解讀。書山有路勤為徑，讀懂SASE看這篇。 一、什么是SASE？ 安全訪問服務邊緣（SASE）是Gartner在2019年8月的報告《雲中 ...
一文讀懂SmartNIC
https://jishuin.proginn.com/p/763bfbd604ea 2021-07-19 00:08 傳統網卡僅實現了 L1-L2 層的邏輯，而由 Host CPU ...
一文讀懂DDD
何為DDD DDD不是架構設計方法，不能把每個設計細節具象化，DDD是一套體系，決定了其開放性，體系中可以用任何一種方法來解決這些問題，但是如果一些關鍵問題沒有具體方案落地，可能讓團隊無所適從。 ...
一文讀懂什么是ICT
一、ICT是什么 ICT即信息通信技術(Information and Communication Technology，簡稱ICT)，是it和ct兩個領域越來越緊密結合的產物。ICT ...