原文:大数据云原生系列| 微信 Flink on Kubernetes 实战总结

前言 架构转型,拥抱云原生服务生态 当前微信内部的大数据计算平台是基于自研的 Yard 资源调度系统来建设,Yard 的设计初衷除了提供在线服务资源隔离外,另一方面是为了提高在线服务机器的整体资源利用率,其核心策略是在机器空闲时能在上面跑一些大数据离线任务。但是对接业界各种大数据计算框架 例如 Hadoop MapReduce Spark Flink 等 都需要专门定制化开发,迭代维护非常不灵活, ...

2021-03-25 14:22 0 332 推荐指数:

查看详情

6大数据实战系列-sparkSql实战

,并且SparkSql支持多种数据源操作包括hive、hdfs、rdd、json、mysql,本文先讲解hive、hdf ...

Sun Oct 22 19:42:00 CST 2017 0 1276
大数据云平台Greenplum:多租户篇

Greenplum 是最出色的开源MPP数据库,经过15年的发展,从数据仓库发展成了云时代的理想大数据平台。 本系列文章将从各个方面介绍Greenplum对云的支持。本篇侧重多租户。 1. 什么是多租户 多租户指一套系统能够支撑多个租户。一个租户通常是具有相似访问 ...

Fri Aug 30 19:25:00 CST 2019 0 728
大数据开发实战系列之电信客服(1)

大数据实战开发系列,以实战为主,辅以一些基础知识,关于电信客服,在网上也有很多的资料,这里我自然会去参考网上的资料,程序的整体设计是在今天开始的,老夫尽量在本周末钱结束这个电信客服的程序编写。因为我也是一个学习者,所以在程序编写过程中难免会存在问题,有问题还请大家指出,有则改之,无则加勉 ...

Wed Dec 25 19:24:00 CST 2019 0 328
SparkStreaming实时流式大数据处理实战总结

总结《SparkStreaming实时流式大数据处理实战》 一、初始spark 1. 初始sparkstreaming 1.1 大数据处理模式 1. 一种是原生流处理(Native)的方式,即所有输入记录会一条接一条地被处理,storm 和 flink 2. 另一种是批处理(Batch ...

Sat Jan 30 04:12:00 CST 2021 0 598
微软Azure已开始支持hadoop--大数据云计算

微软Azure已开始支持hadoop,对于有需要弹性大数据运算的公司可能是个好消息。据悉,近期微软已提供一个预览版的Azure HDInsight(Hadoop on Azure)服务,运行在Linux操作系统上。与对应的Windows一样,Azure HDInsight on Linux服务也是 ...

Tue Mar 17 18:01:00 CST 2015 6 1333
大数据实战项目有哪些

目前大数据的就业情况,对我们大学生来说,重要的一道坎是什么?实战经验有木有?翻看各大招聘网站的应聘需求,都需要两到三年的开发经验。这个很重要,企业开出了高额的薪资,自然是想得到相应的回报。 我们大数据课程为就业课程,除了对大数据生态圈各个服务组件进行细致的讲解,还通过企业级真实大数据项目实战 ...

Sat Jan 05 01:59:00 CST 2019 0 4104
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM