Hive_分區排序(Distribute By)

hive的分區排序

需求：對插入的數據分組，並且排序

案例實操：

（1）先按照部門編號分區，再按照員工編號降序排序。

hive (default)> set mapreduce.job.reduces=3;
hive (default)> insert overwrite local directory '/opt/module/datas/distribute-result' select * from emp distribute by deptno sort by empno desc;

注意：

1．distribute by的分區規則是根據分區字段的hash碼與reduce的個數進行模除后，余數相同的分到一個區。

2．Hive要求DISTRIBUTE BY語句要寫在SORT BY語句之前。