在大数据整个处理流程过程中，数据的流向是一个很重要的问题，本篇博客主要记录数据是怎么从http发送到kafka的。 使用技术点： 1. java的Vert.x框架 　　(关于java ...

Kafka 是一个高吞吐、分布式、基于发布订阅的消息系统，利用Kafka技术可在廉价PC Server上搭建起大规模消息系统。Kafka具有消息持久化、高吞吐、分布式、多客户端支持、实时等特 ...

目录 前缀 数仓建模体系 数据中台产生背景 数据中台主要解决的问题 数据中台如何解决 什么样的企业适合构建数据中台？ ...

Flink： Apache Flink是一个计算框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。 F ...

　　花了很长时间尝试druid官网上说的Tranquility嵌入代码进行实时发送数据到druid，结果失败了，各种各样的原因造成了失败，现在还没有找到原因，在IDEA中可以跑起，放到线上就死活不行， ...

1、 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2、一 ...

Kafka Need No Keeper 最近在鹅厂工作中不断接触到Kafka，虽然以前也使用过，但是对其架构和发展过程总是模模糊糊，所以在回学校准备末考的时候找些资料总结一下。 Kafka Nee ...

为什么之前的MapReduce系统比较慢 常理上有几个理由使得MapReduce框架慢于MPP数据库： 容错所引入的昂贵数据实体化(data materialization)开销。 孱弱 ...

hive中常规处理json数据，array类型json用get_json_object(#,"$.#")这个方法足够了，map类型复合型json就需要通过数据处理才能解析。 explode：字段行转 ...

目录 DS 安装 MySQL 玩 资源管理 DS 安装 参考官网：http ...