原文:Presto在滴滴的探索与实践

桔妹导读:Presto在滴滴内部发展三年,已经成为滴滴内部Ad Hoc和Hive SQL加速的首选引擎。目前服务 K 用户,每天读取 PB PB HDFS数据,处理 万亿 万亿条记录,为了承接业务及丰富使用场景,滴滴Presto需要解决稳定性 易用性 性能 成本等诸多问题。我们在 年多的时间里,做了大量优化和二次开发,积攒了非常丰富的经验。本文分享了滴滴对Presto引擎的改进和优化,同时也提供 ...

2020-10-16 12:00 0 786 推荐指数:

查看详情

Presto在大数据领域的实践探索

作为Presto小白时期,经过调研、线上调试、生产环境稳定运行这个过程中大量的实践经验和资料检索,沉淀下来的一个读 ...

Sat Jan 09 22:16:00 CST 2021 0 802
滴滴七层接入平台实践探索

桔妹导读:滴滴七层接入平台负责滴滴全公司http东西向和南北向流量的接入,其请求峰值qps数百万,日请求量数千亿,接入域名数千个、接入服务数千个、转发规则数万个,其稳定高效的运行对于保障滴滴业务至关重要。本文将主要介绍七层接入平台在服务治理和稳定性建设上的实践,同时也分享其在云原生领域一些 ...

Thu Sep 03 07:58:00 CST 2020 0 620
机器学习在滴滴网络定位中的探索实践

​桔妹导读:定位是所有LBS服务的基础服务。在滴滴的业务场景下,定位主要是指各类终端设备的位置,包括手机、单车、行车记录仪、车机端等。作为底层服务,在滴滴日均提供700亿次定位服务,支撑着平台的各类业务。 今天给大家分享的是机器学习在滴滴网络定位中的实践工作,会重点介绍三阶段的演进:无 ...

Sat Sep 19 01:40:00 CST 2020 0 797
AIOps 在腾讯的探索实践

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由LemonLu发表于云+社区专栏 赵建春 腾讯 技术运营通道主席 腾讯 社交网络运营部助理总经理 AIOps 白皮书核心编写专家 我今天要讲的主题,AIOps,是一个比较新的话题,其实从概念的提出到我们做 ...

Mon Nov 12 19:45:00 CST 2018 0 824
epoll模型的探索实践

epoll是什么呢?,epoll是IO模型中的一种,属于多路复用IO模型; 到这里你应该想到了,select,的确select也是一种多路复用的IO模型,但是其单个select最多只能同时处理102 ...

Wed Jul 10 23:17:00 CST 2019 0 2078
近实时运算的利器---presto在公司实践

1.起因 公司hadoop集群里的datanonde和tasktracker节点负载主要集中于晚上到凌晨,平日工作时间负载不是很高。但在工作时间内,公司业务人员有实时查询需求,现在主要 借助于hi ...

Fri Sep 30 01:42:00 CST 2016 0 1971
实时数仓在滴滴实践和落地

​桔妹导读:随着滴滴业务的高速发展,业务对于数据时效性的需求越来越高,而伴随着实时技术的不断发展和成熟,滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子,从引擎侧、平台侧和业务侧各个不同方面,来阐述滴滴所做的工作,分享在建设过程中的经验。 1. 实时数仓建设目的 ...

Wed Sep 02 18:42:00 CST 2020 1 1960
信息公交服务在滴滴的应用实践

​桔妹导读:IT技术的不断更新推动着公共交通的概念不断在深度和广度上扩展。深度上,精准的公交ETA和实时到站等信息可以帮助用户更好的规划行程时间;广度上,配合单车,网约车等共享出行方式可以帮助 ...

Tue Oct 13 23:24:00 CST 2020 0 761
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM