原文:DataPipeline |《Apache Kafka實戰》作者胡夕:Apache Kafka監控與調優

胡夕 Apache Kafka實戰 作者,北航計算機碩士畢業,現任某互金公司計算平台總監,曾就職於IBM 搜狗 微博等公司。國內活躍的Kafka代碼貢獻者。 前言 雖然目前Apache Kafka已經全面進化成一個流處理平台,但大多數的用戶依然使用的是其核心功能:消息隊列。對於如何有效地監控和調優Kafka是一個大話題,很多用戶都有這樣的困擾,今天我們就來討論一下。 一 Kafka綜述 在討論具 ...

2018-09-04 16:18 0 1023 推薦指數:

查看詳情

【譯】調Apache Kafka集群

  今天帶來一篇譯文“調Apache Kafka集群”,里面有一些觀點並無太多新穎之處,但總結得還算詳細。該文從四個不同的目標出發給出了各自不同的參數配置,值得大家一讀~ 原文地址請參考:https://www.confluent.io/blog ...

Sat Jun 03 19:44:00 CST 2017 0 2866
Apache kafka實戰》讀書筆記-kafka集群監控工具

               《Apache kafka實戰》讀書筆記-kafka集群監控工具                                               作者:尹正傑 版權聲明:原創作品,謝絕轉載!否則將追究法律責任。   如官網所述,Kafka使用 ...

Sun Dec 02 09:31:00 CST 2018 0 1054
Apache Pulsar 在 BIGO 的性能調實戰(上)

背景 在人工智能技術的支持下,BIGO 基於視頻的產品和服務受到廣泛歡迎,在 150 多個國家/地區擁有用戶,其中包括 Bigo Live(直播)和 Likee(短視頻)。Bigo Live 在 1 ...

Fri Aug 21 07:38:00 CST 2020 2 1019
KAFKA 調

KAFKA 調 最近要對kafka集群做調,就在網上看了些資料,總結如下。 我們的kafka版本是0.10.1.0。 機器配置是40G內存,300G硬盤。 一共有3台機器組成一個小的集群。 Kakfka的調主要分為3個部分,Linux系統,JVM虛擬機,Kafka本身設置。 Linux ...

Tue Mar 07 03:35:00 CST 2017 1 11514
kafka調

kafka調:[root@bi-kafka-1 bin]# pwd/data/kafka-9092/bincat kafka-server-start.sh if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G ...

Sun Oct 13 00:37:00 CST 2019 0 307
kafka 延遲調

場景, 通過日志發現總有某些消息從kafka發出到消費者接受,這段延時高達200毫秒 需求:發現那個環節是瓶頸 手段: 模擬環境測試 模擬環境: 4G8核心,千兆網卡, 阿里雲kafka標准版集群20MB/s 讀寫規格,客戶端go1.5 sarama v1.29.0 from ...

Mon Jun 21 05:42:00 CST 2021 0 398
kafka性能調

https://blog.csdn.net/vegetable_bird_001/article/details/51858915 主要優化原理和思路 kafka是一個高吞吐量分布式消息系統,並且提供了持久化。其高性能的有兩個重要特點: 利用了磁盤連續 ...

Wed Jan 29 06:26:00 CST 2020 0 2017
Kafka的參數調

這篇文章主要說一下在生產過程中的kafka常用的調參數, 首先kafka的版本是0.9.0.1,針對以下幾個方面來說, 針對kafka的堆內存: 針對kafka的集群調: kafka的的消息機制有三種,同步 異步和 oneway 同步(sync)的意味着消息是以 ...

Fri Apr 20 02:01:00 CST 2018 0 2635
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM