1.取流水表的数据时,如果是使用全部分区数据,不能从SA层数据取数,需要改从SH层取数,因为SH层为parquet存储,查询性能较好。
2.对于脚本中使用的临时表,如果存在以下情况需要进行统计表信息
1)本身数据量较大
2)需要和大量数据表进行关联
3)本身被较多次使用
3.对于重复使用计算的SQL,需要事前计算好数据,放到临时表中使用,节省计算资源消耗。
4.一段SQL尽量用最少left join等关联,可以多些SQL块来执行。
1.取流水表的数据时,如果是使用全部分区数据,不能从SA层数据取数,需要改从SH层取数,因为SH层为parquet存储,查询性能较好。
2.对于脚本中使用的临时表,如果存在以下情况需要进行统计表信息
1)本身数据量较大
2)需要和大量数据表进行关联
3)本身被较多次使用
3.对于重复使用计算的SQL,需要事前计算好数据,放到临时表中使用,节省计算资源消耗。
4.一段SQL尽量用最少left join等关联,可以多些SQL块来执行。
本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。