spark sql插入表时的文件个数研究
spark sql执行insert overwrite table时，写到新表或者新分区的文件个数，有可能是200个，也有可能是任意个，为什么会有这种差别？ 首先看一下spark sql执行insert overwrite table流程： 1 创建临时目录，比如2 将数据写到临时目录 ...
原文：【原创】大叔经验分享（23）spark sql插入表时的文件个数研究
spark sql执行insert overwrite table时，写到新表或者新分区的文件个数，有可能是 个，也有可能是任意个，为什么会有这种差别 首先看一下spark sql执行insert overwrite table流程： 创建临时目录，比如 .hive staging hive ext 将数据写到临时目录 执行loadTable或loadPartition将临时目录数据move到正是 ...
2019-01-09 15:05 0 1244 推荐指数：
相关推荐
【原创】大叔经验分享（65）spark读取不到hive表
spark 2.4.3 spark读取hive表，步骤： 1）hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2）enableHiveSupport SparkSession.builder.enableHiveSupport ...
【原创】大叔经验分享（60）hive和spark读取kudu表
从impala中创建kudu表之后，如果想从hive或spark sql直接读取，会报错： 官方的解释是： You will encounter this exception when you try to access a Kudu table using ...
【原创】大叔经验分享（15）spark sql limit实现原理
之前讨论过hive中limit的实现，详见 https://www.cnblogs.com/barneywill/p/10109217.html下面看spark sql中limit的实现，首先看执行计划： spark-sql> explain select * from test1 ...
【原创】大叔经验分享（7）创建hive表时格式如何选择
常用格式 textfile 需要定义分隔符，占用空间大，读写效率最低，非常容易发生冲突（分隔符）的一种格式，基本上只有需要导入数据的时候才会使用，比如导入csv文件； ROW FORMAT DELIMITED FIELDS TERMINATED BY '\u0001 ...
【原创】大叔经验分享（84）spark sql中设置hive.exec.max.dynamic.partitions无效
spark 2.4 spark sql中执行 set hive.exec.max.dynamic.partitions=10000; 后再执行sql依然会报错： 这个参数hive.exec.max.dynamic.partitions的默认值是1000，修改 ...
【原创】大叔经验分享（39）spark cache unpersist级联操作
问题：spark中如果有两个DataFrame（或者DataSet），DataFrameA依赖DataFrameB，并且两个DataFrame都进行了cache，将DataFrameB unpersist之后，DataFrameA的cache也会失效，官方解释如下： When ...
【原创】大叔经验分享（5）oozie提交spark任务如何添加依赖
spark任务添加依赖的方式： 1 如果是local方式运行，可以通过--jars来添加依赖； 2 如果是yarn方式运行，可以通过spark.yarn.jars来添加依赖； 这两种方式在oozie上都行不通，首先oozie上没办法也不应该通过local运行 ...