Flink基础：实时处理管道与ETL
往期推荐： Flink基础：入门介绍 Flink基础：DataStream API Flink深入浅出：资源管理 Flink深入浅出：部署模式 Flink深入浅出：内存模型 Flink深入浅出：JDBC Source从理论到实战 Flink深入浅出：Sql Gateway ...
原文：Flink实时处理并将结果写入ElasticSearch实战
参考原博客：https: blog.csdn.net weixin article details 需求分析 使用Flink对实时数据流进行实时处理，并将处理后的结果保存到Elasticsearch中，在Elasticsearch中使用IK Analyzer中文分词器对指定字段进行分词。 为了模拟获取流式数据，自定义一个流式并行数据源，每隔 ms生成一个Customer类型的数据对象并返回给Fli ...
2019-09-26 16:20 0 1897 推荐指数：
相关推荐
实时处理与流处理
前言：作为一个程序猿，总是能不时地听到各种新技术名词，大数据、云计算、实时处理、流式处理、内存计算… 但当我们听到这些时髦的名词时他们究竟是在说什么？偶然搜到一个不错的帖子，就总结一下实时处理和流式处理的差别吧。 正文：要说实时处理就得先提一下实时系统(Real-timeSystem ...
带你玩转Flink流批一体分布式实时处理引擎
摘要：Apache Flink是为分布式、高性能的流处理应用程序打造的开源流处理框架。 本文分享自华为云社区《【云驻共创】手把手教你玩转Flink流批一体分布式实时处理引擎》，作者： 萌兔之约。 Apache Flink是为分布式、高性能的流处理应用程序打造的开源流处理框架。Flink ...
Flink 实时写入数据到 ElasticSearch 性能调优
Flink 实时写入数据到 ElasticSearch 性能调优 原创： 张刘毅 zhisheng zhisheng 微信号zhisheng_blog 功能介绍Flink 实时计算框架基础&进阶&实战&源码解析，死磕 ...
python实时处理log文件脚本
这个Python脚本是用来对实时文件的内容监控，比如 Error 或者 time out 字段都可以进行自定义；算是我的第一个真正的Python脚本，自己感觉还是比较臃肿，不过打算放到blog上记录一下（还是初学者，大神们勿喷哈），真心希望博友们能够再指点一下(现在记录每次的文件大小值是输出 ...
Spark Streaming实时处理应用
1 框架一览 事件处理的架构图如下所示。 2 优化总结 当我们第一次部署整个方案时，kafka和flume组件都执行得非常好，但是spark streaming应用需要花费4-8分钟来处理单个batch。这个延迟的原因有两点，一是我们使用DataFrame来强化数据，而强化 ...
Spark Streaming实时处理Kafka数据
使用python编写Spark Streaming实时处理Kafka数据的程序，需要熟悉Spark工作机制和Kafka原理。 1 配置Spark开发Kafka环境 首先点击下载spark-streaming-kafka，下载Spark连接Kafka的代码库。然后把下载的代码库放到目录/opt ...