最近用yarn cluster方式提交spark任务时，有时会报错，报错几率是 ，报错如下： : : ERROR ApplicationMaster : User class threw exception: org.apache.spark.sql.AnalysisException: java.lang.NoSuchFieldError: HIVE MOVE FILES THREAD COUN ...
2018-11-02 15:01 0 1044 推荐指数：
spark 2.1.1 一 问题重现 spark-submit --master local[*] --class app.package.AppClass --jars /jarpath/zkclient-0.3.jar --driver-memory 1g app.jar ...
oozie中支持很多的action类型，比如spark、hive，对应的标签为： <spark xmlns="uri:oozie:spark-action:0.1"> ... oozie中sharelib用于存放每个action类型需要的依赖，可以查看当前 ...
Exception in thread "main" java.lang.NoSuchFieldError: INSTANCE at org.apache.http.conn.ssl.SSLConnectionSocketFactory.<clinit> ...
java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT 这个问题我感觉是hive给spark挖的一个大坑。spark版本是2.4.4，hive是3 这个问题，基本发生在远程启动spark客户端，并且访问spark集群，然后再连接hive造成 ...
最近把一些sql执行从hive改到spark，发现执行更慢，sql主要是一些insert overwrite操作，从执行计划看到，用到InsertIntoHiveTable spark-sql> explain insert overwrite table test2 select ...
在执行创建工作空间时候，创建不成功，出现错误?? ......... java.lang.NoSuchFieldError: DEFAULT_USER_SETTINGS_FILE ......... 这是jar冲突，版本太高引起的，maven3.5.0版本有这个问题，使用3.3.9低版本就可以了 ...
Spark2.1.1 最近运行spark任务时会发现任务经常运行很久，具体job如下： Job Id ▾ Description Submitted Duration Stages: Succeeded ...
spark 2.1.1 一 问题重现 问题代码示例 当如下3行代码放到main外时 val sparkConf = new SparkConf().setAppName(getName) val sc = new SparkContext ...
