花费 14 ms
大数据处理中的Lambda架构和Kappa架构

首先我们来看一个典型的互联网大数据平台的架构,如下图所示: 在这张架构图中,大数据平台里面向用户的在线业务处理组件用褐色标示出来,这部分是属于互联网在线应用的部分,其他蓝色的部分属于大数据相关组 ...

Thu Oct 10 00:22:00 CST 2019 0 5315
Flink集成到CDH上,并运行一个例子

CDH原生的组件里面不包含Flink的组件。如果我们需要用FLink的话,必须自己添加并进行相关的配置。本篇就是介绍如果进行Flink集成到CDH上 集成FLINK主要分2大步骤 ...

Mon Feb 17 00:36:00 CST 2020 2 9438
知名大厂如何搭建大数据平台&架构

今天我们来看一下淘宝、美团和滴滴的大数据平台,一方面进一步学习大厂大数据平台的架构,另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图,你就会发现,不但这些知名大厂的大数据平台设计方案大同小 ...

Mon Sep 30 19:51:00 CST 2019 1 3187
Flink读取Kafka数据,进行汇总

今天介绍用 Flink 读取Kafka生成的数据,并进行汇总的案例 第一步:环境准备,kafka,flink,zookeeper。我这边是用的CDH环境,kafka跟zookeeper 都安装完毕, ...

Thu Mar 19 22:02:00 CST 2020 0 5742
Hadoop伪分布式HDFS环境搭建和使用

1.环境要求 Java版本不低于Hadoop要求,并配置环境变量 2.安装 1)在网站hadoop.apache.org下载稳定版本的Hadoop包 2)解压压缩包 检查Hadoop是否可用 ...

Thu Sep 14 01:07:00 CST 2017 0 9796
hadoop、storm和spark的区别、比较

转载至:https://www.cnblogs.com/snowbook/p/5773562.html 感谢原作者的分享 一、hadoop、Storm该选哪一个? 为了区别hadoop和S ...

Fri May 10 04:32:00 CST 2019 0 3203
Hive解析多重嵌套JSON数组

最近在工作中遇到一个很难解析的JSON,他是一个嵌套的JSON数组的JSON,要使用Hive来进行解析,用Presto写了一次,逻辑就很清晰,因为Presto自带了JSON数据类型,转换数组就很方便, ...

Fri May 29 19:03:00 CST 2020 0 3534

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM