spark远程调用的几个坑
问题一 远程调用出现类似死循环一样一直 ...
原文：spark几个错误
一 java.lang.NoSuchMethodError: net.jpountz.lz .LZ BlockInputStream. lt init gt Ljava io InputStream Z V 当要将dataframe进行序列化 df.show 或者df.collect 时，报这个错误。 原因是：maven的pom.xml中含有spark 和 kafka。 .spark . 用到了l ...
2019-07-15 20:43 1 842 推荐指数：
相关推荐
MySQL关于InnoDB的几个错误
阿里云服务器上装有MySQL 5.6，这几天MySQL服务经常死掉，启动MySQL服务（service mysql start），却报如下错误 Starting MySQL.. ERROR! The server quit without updating PID file (/var/lib ...
tensorflow几个常见错误
错误一：二分类，标签y ValueError: Cannot feed value of shape (128,1) for Tensor u'input_y_2:0', which has shape '(?, 2)' 我的输入y_train维度为（128,1），即是一个向量 ...
spark on yarn 错误
使用spark on yarn跑任务的时候，出现了异常错误，错误如下： 分析： 通过上述的分析，可以看到是由于yarn 在启动AM的时候，AM没有正常的启动，导致spark运行失败，但是，去yarn的8088界面查看saprk任务容器日志，没有相应的错误日志输出，怀疑是由于AM ...
spark中saveAsTextFile的错误
写了很简单的一段spark代码，将结果保存为windows本地文件，执行之后总是报错NullPointerException 查询之后 发现是本地缺少hadoop需要的一个文件所致 如果本地已经安装了hadoop 一般不会有此问题 如果不愿安装 可按照下述方法解决 1）下载需要的文件 ...
Spark部分：几个重要的端口汇总
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark ...
聊聊spark-submit的几个有用选项
我们使用spark-submit时，必然要处理我们自己的配置文件、普通文件、jar包，今天我们不讲他们是怎么走的，我们讲讲他们都去了哪里，这样我们才能更好的定位问题。 我们在使用spark-submit把我们自己的代码提交到yarn集群运行时，spark会在yarn集群上生成两个进程 ...
spark几个重要端口（默认）
的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口 ...