Kafka在線修改topic日志保存時長(不停機，不重啟)
使用場景： 某些時候，當幾個topic生產者突發產生大量消息時，會造成磁盤空間緊張，這時，除了增加磁盤，另一個方法就是修改配置文件，將日志的保存時間修改小一點，但這兩種方案，都必須停機和重啟kafka，顯然，這在生產集群上，是不能這么處理的。這里，可以通過在線修改單個topic的配置，以覆蓋默認 ...
原文：kafka參數在線修改
當kafka集群單個節點出現磁盤滿了，需要清理歷史topic數據 方法如下 ： 停掉kafka進程，將kafka的server.properties中的log.retention.hours 將日志數據保留 分鍾 或者 在不用停掉kafka進程的情況下執行： kafka configs.sh zookeeper localhost: entity type topics entity name t ...
2019-01-28 16:21 0 1808 推薦指數：
相關推薦
在線大表表結構修改
背景介紹： 服務器 252G/40C SSD盤 mysql版本是5.6.25 表大小：CISXX_DATA_XXX 110908162 rows 第一次嘗試直接加索引 mysql& ...
kafka配置參數
Kafka為broker,producer和consumer提供了很多的配置參數。 了解並理解這些配置參數對於我們使用kafka是非常重要的。本文列出了一些重要的配置參數。 官方的文檔 Configuration比較老了，很多參數有所變動， 有些名字也有所改變。我在整理的過程中 ...
kafka參數配置
基本的操作和管理 1.Broker配置 配置文件放在Kafka目錄下的config目錄中，主要是server.properties文件 1.1常規配置 broker.id 在單機時無需修改，但在集群下部署時往往需要修改。它是個每一個broker在集群中的唯一表示，要求 ...
kafka中的acks參數
首先acks參數，是在kafkaProducer,也就是在生產者客戶端里設置的也就是說，你往kafka寫東西的時候，就可以設置這個參數。 這個參數實際上有三種值可以設置，分別是0,1,和all. 第一種選擇是把參數設置成0 我的kafkaProducer在客戶端，只要把消息發送出去，不管那條 ...
Kafka重要參數
轉載 https://www.cnblogs.com/luckyhui28/p/12001798.html#lingerms acks 這個參數用老指定分區中必須由多少個副本收到消息，之后生產者才會認為這條消息寫入是成功的。acks參數有三種類型的值（都是字符串類型）。 acks ...
Kafka的參數調優
這篇文章主要說一下在生產過程中的kafka常用的調優參數, 首先kafka的版本是0.9.0.1,針對以下幾個方面來說, 針對kafka的堆內存: 針對kafka的集群調優: kafka的的消息機制有三種,同步 異步和 oneway 同步(sync)的意味着消息是以 ...
kafka 修改jvm內存
# cat kafka-server-start.sh export KAFKA_HEAP_OPTS="-Xmx6G -Xms6G" 1 #!/bin/bash 2 # Licensed to the Apache Software Foundation (ASF ...