Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系和Application，Driver，Job，Task，Stage理解 from： https://blog.csdn.net ...

hdfs中的block是分布式存储的最小单元，类似于盛放文件的盒子，一个文件可能要占多个盒子，但一个盒子里的内容只可能来自同一份文件。假设block设置为128M，你的文件是250M，那么这份文件占3个block（128+128+2）。这样的设计虽然会有一部分磁盘空间的浪费，但是整齐的block ...

脚本如下： ...

partition by关键字是分析性函数的一部分，它和聚合函数（如group by）不同的地方在于它能返回一个分组中的多条记录，而聚合函数一般只有一条反映统计值的记录， partition by用于给结果集分组，如果没有指定那么它把整个结果集作为一个分组。 partition ...

查看所有表对应的数据量 查看数据库的总数据量 ...

查看所有表对应的数据量 查看数据库的总数据量 ...

Linux中查看数据量巨大的日志 1、less命令 less 日志文件名称 使用less查看日志文件时，快捷键： shif + g ：跳转到文件内容的最后一行 b：向后移动一屏幕 f：向前移动一屏幕 2、sed命令 sed -n '5, 10 p' 日志 ...

spark中执行任务会显示如下格式的进度： 观察这个进度过程有利于看出是否存在数据倾斜：若其中1个task的完成时间明显高于其他task，说明很可能这个task处理的数据量多于其他task。 executor和task关系： 一个executor可以并行执行多个task ...