1、參數配置(並行度)
分區的默認個數等於對spark.default.parallelism的指定值
2、根據父rdd的reduceTask數量
3、讀取hdfs的文件生成的rdd
rdd分區的數量等於hdfs的文件的block
4、sparkStreaming生成的rdd
根據block interval，batch interval的時間決定
default.block.interval=200ms
批次時間在sparkContext的參數中設定
partitions = batch interval / block interval
5、如果是將Driver端的Scala集合並行化創建RDD，並且沒有指定RDD的分區，RDD的分區就是為該app分配的中的核數cores(–total-executor-cores),可以充分利用計算資源,提高並行度
