我最近发现直接在presto里面插入partition数据,如果原来有数据则不会替换,会产生冗余数据。
但是目前presto又不支持insert overwrite,所以我们现在的做法是在pipeline里面增加一个操作删除即将要写入的partition,就像下面这样
delete_partition --> load_data
目前来看的话,貌似没什么好的办法
我最近发现直接在presto里面插入partition数据,如果原来有数据则不会替换,会产生冗余数据。
但是目前presto又不支持insert overwrite,所以我们现在的做法是在pipeline里面增加一个操作删除即将要写入的partition,就像下面这样
delete_partition --> load_data
目前来看的话,貌似没什么好的办法
本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。