【原创】大叔经验分享（83）impala执行多个select distinct
impala在一个select中执行多个count distinct时会报错，比如执行 select key, count(distinct column_a), count(distinct column_b) from test_table group by key 会报 ...
原文：【原创】大叔经验分享（48）oozie中通过shell执行impala
oozie中通过shell执行impala，脚本如下： 直接执行shell脚本正常，在oozie中执行报错： 按照提示修改PYTHON EGG CACHE即可 另外还可以通过beeline连接，则没有python的问题， 详见：https: www.cnblogs.com barneywill p .html ...
2019-04-01 17:46 0 571 推荐指数：
相关推荐
【原创】大叔经验分享（5）oozie提交spark任务如何添加依赖
spark任务添加依赖的方式： 1 如果是local方式运行，可以通过--jars来添加依赖； 2 如果是yarn方式运行，可以通过spark.yarn.jars来添加依赖； 这两种方式在oozie上都行不通，首先oozie上没办法也不应该通过local运行 ...
【原创】大叔经验分享（6）Oozie如何查看提交到Yarn上的任务日志
通过oozie job id可以查看流程详细信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程详细信息如下： Job ID ...
【原创】大叔经验分享（1）在yarn上查看hive完整执行sql
hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 通过以下方法可以查看： 1）如果任务 ...
【原创】大叔经验分享（106）Impala读取parquet时间字段时区偏移问题
parquet文件中的时间字段，在hive和spark-sql中读取正常，在impala中读取会偏移8个小时（少），经测试结果如下： 一 不修改impala配置 1 由spark或hive写入parquet spark和hive读取正常 impala读取偏移8小时（少），需要手工 ...
【原创】大叔经验分享（88）jenkins假死
jenkins安装启动后，使用systemctl来进行进程监控 # systemctl enable jenkins 但是还是经常发生jenkins进程挂了，不会自动重启，通过syste ...
大叔经验分享（127）impala3.4编译安装
准备 maven 下载 https://downloads.apache.org/impala/3.4.0/apache-impala-3.4.0.tar.gz 编译 报错处理 [ERROR] Failed to execute goal on project ...
【原创】大叔经验分享（19）spark on yarn提交任务之后执行进度总是10%
spark 2.1.1 系统中希望监控spark on yarn任务的执行进度，但是监控过程发现提交任务之后执行进度总是10%，直到执行成功或者失败，进度会突然变为100%，很神奇， 下面看spark on yarn任务提交过程： spark on yarn提交任务时会 ...