Flink提供了Kafka connector用於消費/生產Apache Kafka topic的數據。Flink的Kafka consumer集成了checkpoint機制以提供精確一次的處理語義。在具體的實現過程中,Flink不依賴於Kafka內置的消費組位移管理,而是在內部自行記錄和維護 ...
前言 今天帶來一篇不是自己原創但覺得很有深度的文章: th Percentile Latency at Scale with Apache Kafka 背景 在同時要求低延時和高質量數據交付的眾多Apache Kafka使用場景中,反欺詐 支付系統和股票交易平台僅僅是其中有代表性的幾個。例如,網上銀行交易就要求反欺詐系統能夠實時進行檢測且每單交易檢測時間不能超過 ms,否則會影響用戶體驗。 對於K ...
2020-03-04 16:49 2 1194 推薦指數:
Flink提供了Kafka connector用於消費/生產Apache Kafka topic的數據。Flink的Kafka consumer集成了checkpoint機制以提供精確一次的處理語義。在具體的實現過程中,Flink不依賴於Kafka內置的消費組位移管理,而是在內部自行記錄和維護 ...
今天帶來一篇譯文“調優Apache Kafka集群”,里面有一些觀點並無太多新穎之處,但總結得還算詳細。該文從四個不同的目標出發給出了各自不同的參數配置,值得大家一讀~ 原文地址請參考:https://www.confluent.io/blog ...
簡要 在今天的數據中心的網絡中,涉及到的網絡設備是極其復雜多樣的。一個大型的數據中心都有成百上千的節點,網卡,交換機,路由器以及無數的網線,光纖。在這些硬件設備基礎上構建了很多軟件,比如搜索引擎、分 ...
/apache-kafka-supports-200k-partitions-per-cluster Kafka中topic可以設置多個分區,而分區是最小的並行度單位 ...
一直在思考寫一些什么東西作為2017年開篇博客。突然看到一篇《Kafka學習之路》的博文,覺得十分應景,於是決定搬來這“他山之石”。雖然對於Kafka博客我一向堅持原創,不過這篇來自Confluent團隊Gwen Shapira女士的博文實在精彩,所以還是翻譯給大家,原文參見 ...
本文來自於DataWorks Summit/Hadoop Summit上的《Apache Kafka最佳實踐》分享,里面給出了很多關於Kafka的使用心得,非常值得一看,今推薦給大家。 硬件配置 JBOD: Just bunch of disks,就是普通的一堆磁盤組成的集群 OS ...
最近事情多有點犯懶,依然帶來一篇譯文:Apache Kafka Producer Improvements with the Sticky Partitioner 消息在系統中流轉的時間對於Kafka的性能來說至關重要。具體到Producer而言,Producer端的延時(Latency ...
官方文檔詳見:http://docs.spring.io/spring-kafka/docs/1.0.2.RELEASE/reference/htmlsingle/ Authors Gary Russell , Artem Bilan ...