为什么要使用广播(broadcast)变量？ Spark中因为算子中的真正逻辑是发送到Executor中去运行的，所以当Executor中需要引用外部变量时，需要使用广播变量。进一步解释： ...

背景： 调研过OOZIE和AZKABA,这种都是只是使用spark-submit.sh来提交任务，任务提交上去之后获取不到ApplicationId，更无法跟踪spark application的任 ...

问题描述： 我之前使用kafka的命令删除了改topic： ./kafka-topics.sh --delete --zookeeper 【zookeeper server】 --to ...

导入： 1）Spark Web UI主要依赖于流行的Servlet容器Jetty实现； 2）Spark Web UI(Spark2.3之前)是展示运行状况、资源状态和监控指标的前端，而这些 ...

之前也介绍过使用yarn api来submit spark任务，通过提交接口返回applicationId的用法，具体参考《Spark2.3（四十）：如何使用java通过yarn api调度spark ...

环境准备： 1）需要在maven工程中引入依赖： 2）本机是否能telnet 192.178.0.111 9092（kafaka所部署的vmw虚拟机）通？ 如果telnet端口不通， ...

错误信息 原因分析 其实这个在官方文档中有介绍。地址如下：https://www.cloudera.com/documentation/spark2/latest/topics/sp ...

引导： 该篇章主要讲解执行spark-submit.sh提交到将任务提交给Yarn阶段代码分析。 spark-submit的入口函数 一般提交一个spark作业的方式采用spark-submit ...

启动问题： 执行start-all.sh出现以下异常信息： 解决方案： Just added export JAVA_HOME=/usr/java/default in /root ...

如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如 ...