流计算这两年很火了，可能对数据的实时性要求高。现在用的hadoop框架，对流计算的支持，主要还是微批（spark），也不支持“Exactly Once”语义（可以使用外接的数据库解决），公司项目可能会用所以就下载了个Flink试试。 1. 下载解压　　　　 　　打开官网：https ...

kafka安装和简单测试 # 安装zookeeper（apache-zookeeper-3.5.6-bin）https://archive.apache.org/dist/zookeeper/zookeeper-3.5.6/apache-zookeeper-3.5.6-bin.tar.gz ...

1.NLTK简介 Natural Language Toolkit，自然语言处理工具包，在NLP领域中，最常使用的一个Python库。NLTK是一个开源的项目，包含：Python模块，数据集和教程， ...

关于scapy Scapy的是一个强大的交互式数据包处理程序（使用python编写）。它能够伪造或者解码大量的网络协议数据包，能够发送、捕捉、匹配请求和回复包等等。它可以很容易地处理一些典型操作，比如端口扫描，tracerouting，探测，单元测试，攻击或网络发现（可替代hping，NMAP ...

1 介绍组件 Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读）。 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据 ...

1. 下载apache benchmark 2. 进行简单的测试: ...

环境准备 基本概念 事件定义 简单事件 处理单一事件，事件的定义可以直接观察出来，处理过程无需关注多个事件之间的关系，能够通过简单的数据处理手段将结果计算出来。 复杂事件 相对于简单事件，复杂事件处理的不仅是单一的事件，也处理由多个事件组成的复合事件。复杂事件处理监测分析 ...

Flink会话窗口测试 一、测试结论： 1、会话窗口的间隔时间和水位线作用一样，表示输出现在时间 - 间隔时间之前所有未结算时间的数据，作用类似于水位线，但是和水位线开闭不一样。 2、会话窗口显示的数据是[上一个时间 - 水位线 - 间隔时间+2ms ~ 现在的时间 - 水位线 - 间隔时间 ...