為什么要使用廣播(broadcast)變量？ Spark中因為算子中的真正邏輯是發送到Executor中去運行的，所以當Executor中需要引用外部變量時，需要使用廣播變量。進一步解釋： ...

背景： 調研過OOZIE和AZKABA,這種都是只是使用spark-submit.sh來提交任務，任務提交上去之后獲取不到ApplicationId，更無法跟蹤spark application的任 ...

問題描述： 我之前使用kafka的命令刪除了改topic： ./kafka-topics.sh --delete --zookeeper 【zookeeper server】 --to ...

導入： 1）Spark Web UI主要依賴於流行的Servlet容器Jetty實現； 2）Spark Web UI(Spark2.3之前)是展示運行狀況、資源狀態和監控指標的前端，而這些 ...

之前也介紹過使用yarn api來submit spark任務，通過提交接口返回applicationId的用法，具體參考《Spark2.3（四十）：如何使用java通過yarn api調度spark ...

環境准備： 1）需要在maven工程中引入依賴： 2）本機是否能telnet 192.178.0.111 9092（kafaka所部署的vmw虛擬機）通？ 如果telnet端口不通， ...

錯誤信息 原因分析 其實這個在官方文檔中有介紹。地址如下：https://www.cloudera.com/documentation/spark2/latest/topics/sp ...

引導： 該篇章主要講解執行spark-submit.sh提交到將任務提交給Yarn階段代碼分析。 spark-submit的入口函數 一般提交一個spark作業的方式采用spark-submit ...

啟動問題： 執行start-all.sh出現以下異常信息： 解決方案： Just added export JAVA_HOME=/usr/java/default in /root ...

如何搭建配置centos虛擬機請參考《Kafka：ZK+Kafka+Spark Streaming集群環境搭建（一）VMW安裝四台CentOS，並實現本機與它們能交互，虛擬機內部實現可以上網。》 如 ...