流計算這兩年很火了，可能對數據的實時性要求高。現在用的hadoop框架，對流計算的支持，主要還是微批（spark），也不支持“Exactly Once”語義（可以使用外接的數據庫解決），公司項目可能會用所以就下載了個Flink試試。 1. 下載解壓　　　　 　　打開官網：https ...

kafka安裝和簡單測試 # 安裝zookeeper（apache-zookeeper-3.5.6-bin）https://archive.apache.org/dist/zookeeper/zookeeper-3.5.6/apache-zookeeper-3.5.6-bin.tar.gz ...

1.NLTK簡介 Natural Language Toolkit，自然語言處理工具包，在NLP領域中，最常使用的一個Python庫。NLTK是一個開源的項目，包含：Python模塊，數據集和教程， ...

關於scapy Scapy的是一個強大的交互式數據包處理程序（使用python編寫）。它能夠偽造或者解碼大量的網絡協議數據包，能夠發送、捕捉、匹配請求和回復包等等。它可以很容易地處理一些典型操作，比如端口掃描，tracerouting，探測，單元測試，攻擊或網絡發現（可替代hping，NMAP ...

1 介紹組件 Filebeat是一個日志文件托運工具，在你的服務器上安裝客戶端后，filebeat會監控日志目錄或者指定的日志文件，追蹤讀取這些文件（追蹤文件的變化，不停的讀）。 Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據 ...

1. 下載apache benchmark 2. 進行簡單的測試: ...

環境准備 基本概念 事件定義 簡單事件 處理單一事件，事件的定義可以直接觀察出來，處理過程無需關注多個事件之間的關系，能夠通過簡單的數據處理手段將結果計算出來。 復雜事件 相對於簡單事件，復雜事件處理的不僅是單一的事件，也處理由多個事件組成的復合事件。復雜事件處理監測分析 ...

Flink會話窗口測試 一、測試結論： 1、會話窗口的間隔時間和水位線作用一樣，表示輸出現在時間 - 間隔時間之前所有未結算時間的數據，作用類似於水位線，但是和水位線開閉不一樣。 2、會話窗口顯示的數據是[上一個時間 - 水位線 - 間隔時間+2ms ~ 現在的時間 - 水位線 - 間隔時間 ...