提升50%！Presto如何提升Hudi表查詢性能？
分享一篇關於使用Hudi Clustering來優化Presto查詢性能的talk talk主要分為如下幾個部分 演講者背景介紹 Apache Hudi介紹 數據湖演進和用例說明 Hudi Clustering介紹 Clustering性能和使用 未來工作 ...
原文：填坑！線上Presto查詢Hudi表異常排查
. 引入 線上用戶反饋使用Presto查詢Hudi表出現錯誤，而將Hudi表的文件單獨創建parquet類型表時查詢無任何問題，關鍵報錯信息如下 報Hudi表中文件格式不是合法的parquet格式錯誤。 . 問題復現 開始根據用戶提供的信息，模擬線上Hudi數據集大小 Presto和Hudi版本 . . incubating 來復現該問題。 進行試驗發現當Hudi表單文件大小較小時，使用Pres ...
2020-05-23 18:39 0 1585 推薦指數：
相關推薦
線上慢查詢的排查
最近查看慢查詢日志，一直有看到SELECT * FROM tb_name的SQL語句，在之前SQL審核的時候，也沒發現有這些SQL的存在，所以很好奇這里怎么出現的，后來用了vc-mysql-sniffer腳本去抓SQL來分析，也沒有找出SELECT * 之類的SQL，下面我上圖讓分析一下 ...
Hudi-通過Hive查詢hudi表數據
環境准備 集成jar包：hudi-hadoop-mr-bundle-0.10.1.jar，放入$HIVE_HOME/lib目錄下 建外部表 手動加入分區 查看分區 SHOW PARTITIONS db_hudi.tbl_hudi ...
一則線上MySql連接異常的排查過程
Mysql作為一個常用數據庫，在互聯網系統應用很多。有些故障是其自身的bug，有些則不是，這里以前段時間遇到的問題舉例。 問題## 當時遇到的症狀是這樣的，我們的應用在線上測試環境，JMeter測試過程中，發現每次壓力測試開始時訪問低前幾個http request請求會超時，而之后的請求持續 ...
【問題排查】fastjson線上排坑記
前言 版本上線時發現fastjson的toString方法的返回的字符串與與之前版本的toString方法返回的字符串不相同，這導致依賴toString進行md5計算所得到的結果不相同，更進一 ...
Apache Hudi和Presto的前世今生
一篇由Apache Hudi PMC Bhavani Sudha Saktheeswaran和AWS Presto團隊工程師Brandon Scheller分享Apache Hudi和Presto集成的一篇文章。 1. 概述 Apache Hudi 是一個快速迭代的數據湖存儲系統，可以幫助企業 ...
填坑總結：python內存泄漏排查小技巧
摘要：最近服務遇到了內存泄漏問題，運維同學緊急呼叫解決，於是在解決問題之余也系統記錄了下內存泄漏問題的常見解決思路。 本文分享自華為雲社區《python內存泄漏排查小技巧》，作者：lutianfei。 最近服務遇到了內存泄漏問題，運維同學緊急呼叫解決，於是在解決問題之余也系統記錄了下內存 ...
一次線上Redis類轉換異常排查引發的思考
之前同事反饋說線上遇到Redis反序列化異常問題，異常如下： 已知信息如下： 該異常不是必現的，偶爾才會出現； 出現該異常后重啟應用或者過一會就好了； 序列化協議使用了hessian。 因為偶爾出現，首先看了報異常那塊業務邏輯是不是有問題，看了一遍也發現 ...