最近在hive里将mr换成spark引擎后，执行插入和一些复杂的hql会触发下面的异常： 未能创建spark客户端的原因有这几个： ，spark没有打卡 ，spark和hive版本不匹配 ，hive连接spark客户端时长过短 解决方案： ，在进入hive之前，需要依次启动hadoop，spark，hiveservice，这样才能确保hive在启动spark引擎时能成功 spark启动： ,版本问 ...
2020-09-20 20:00 2 3242 推荐指数：
最近在Hive中使用Spark引擎进行执行时（set hive.execution.engine=spark），经常遇到return code 30041的报错，为了深入探究其原因，阅读了官方issue、相关博客进行了研究。下面从报错现象、原因分析、解决方案几个方面进行介绍，最后做一下小结 ...
昨天跑程序还很溜，今天本打算再进一步，结果。。。服务器歇菜，一直提示CUDA driver version is insufficient for CUDA runtime version 关键是服 ...
When run SparkSubmit --class [mainClass], SparkSubmit will call a childMainClass which is 1. client mode, childMainClass = mainClass 2. standalone ...
如题，keras出现以上错误，解决办法： 找到占用gpu的进程： 杀死这些进程即可： ...
这个问题的原因有几个： 1、客户端安装的机器一般是虚拟机，虚拟机的名称可能是随便搞的，然而，yarn-client模式提交任务，是默认把本机当成driver的。所以导致其他的机器无法通过host的name直接访问这台机器。报错就是Failed to connect to driver ...
基础数据结构 user_visit_action 点击流数据 （hive表） date //日期：代表用户点击行为是在哪一天发生 采用时间戳好比较 user_id //代表这个点击行为是哪一个用户执行的 session_id //唯一标识了某个用户的一个访问 ...
spark 1.6 创建语句 在Spark1.6中我们使用的叫Hive on spark，主要是依赖hive生成spark程序，有两个核心组件SQLcontext和HiveContext。 这是Spark 1.x 版本的语法 //set up the spark ...
摘要 在Spark中，有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上，通常Yarn-cluster适用于生产环境，而Yarn-Cluster更适用于交互，调试模式，以下是它们的区别 Spark插拨式 ...
