提升50%！Presto如何提升Hudi表查询性能？
分享一篇关于使用Hudi Clustering来优化Presto查询性能的talk talk主要分为如下几个部分 演讲者背景介绍 Apache Hudi介绍 数据湖演进和用例说明 Hudi Clustering介绍 Clustering性能和使用 未来工作 ...
原文：填坑！线上Presto查询Hudi表异常排查
. 引入 线上用户反馈使用Presto查询Hudi表出现错误，而将Hudi表的文件单独创建parquet类型表时查询无任何问题，关键报错信息如下 报Hudi表中文件格式不是合法的parquet格式错误。 . 问题复现 开始根据用户提供的信息，模拟线上Hudi数据集大小 Presto和Hudi版本 . . incubating 来复现该问题。 进行试验发现当Hudi表单文件大小较小时，使用Pres ...
2020-05-23 18:39 0 1585 推荐指数：
相关推荐
线上慢查询的排查
最近查看慢查询日志，一直有看到SELECT * FROM tb_name的SQL语句，在之前SQL审核的时候，也没发现有这些SQL的存在，所以很好奇这里怎么出现的，后来用了vc-mysql-sniffer脚本去抓SQL来分析，也没有找出SELECT * 之类的SQL，下面我上图让分析一下 ...
Hudi-通过Hive查询hudi表数据
环境准备 集成jar包：hudi-hadoop-mr-bundle-0.10.1.jar，放入$HIVE_HOME/lib目录下 建外部表 手动加入分区 查看分区 SHOW PARTITIONS db_hudi.tbl_hudi ...
一则线上MySql连接异常的排查过程
Mysql作为一个常用数据库，在互联网系统应用很多。有些故障是其自身的bug，有些则不是，这里以前段时间遇到的问题举例。 问题## 当时遇到的症状是这样的，我们的应用在线上测试环境，JMeter测试过程中，发现每次压力测试开始时访问低前几个http request请求会超时，而之后的请求持续 ...
【问题排查】fastjson线上排坑记
前言 版本上线时发现fastjson的toString方法的返回的字符串与与之前版本的toString方法返回的字符串不相同，这导致依赖toString进行md5计算所得到的结果不相同，更进一 ...
Apache Hudi和Presto的前世今生
一篇由Apache Hudi PMC Bhavani Sudha Saktheeswaran和AWS Presto团队工程师Brandon Scheller分享Apache Hudi和Presto集成的一篇文章。 1. 概述 Apache Hudi 是一个快速迭代的数据湖存储系统，可以帮助企业 ...
填坑总结：python内存泄漏排查小技巧
摘要：最近服务遇到了内存泄漏问题，运维同学紧急呼叫解决，于是在解决问题之余也系统记录了下内存泄漏问题的常见解决思路。 本文分享自华为云社区《python内存泄漏排查小技巧》，作者：lutianfei。 最近服务遇到了内存泄漏问题，运维同学紧急呼叫解决，于是在解决问题之余也系统记录了下内存 ...
一次线上Redis类转换异常排查引发的思考
之前同事反馈说线上遇到Redis反序列化异常问题，异常如下： 已知信息如下： 该异常不是必现的，偶尔才会出现； 出现该异常后重启应用或者过一会就好了； 序列化协议使用了hessian。 因为偶尔出现，首先看了报异常那块业务逻辑是不是有问题，看了一遍也发现 ...