如何删除presto上的冗余数据


我最近发现直接在presto里面插入partition数据,如果原来有数据则不会替换,会产生冗余数据。
但是目前presto又不支持insert overwrite,所以我们现在的做法是在pipeline里面增加一个操作删除即将要写入的partition,就像下面这样
delete_partition --> load_data

目前来看的话,貌似没什么好的办法



免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM