kafka客戶端發布record(消息)


kafka客戶端發布record(消息)到kafka集群。

新的生產者是線程安全的,在線程之間共享單個生產者實例,通常單例比多個實例要快。

一個簡單的例子,使用producer發送一個有序的key/value(鍵值對),放到java的main方法里就能直接運行,

Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("acks", "all"); props.put("retries", 0); props.put("batch.size", 16384); props.put("linger.ms", 1); props.put("buffer.memory", 33554432); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); Producer<String, String> producer = new KafkaProducer<>(props); for(int i = 0; i < 100; i++) producer.send(new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i))); producer.close(); 

生產者的緩沖空間池保留尚未發送到服務器的消息,后台I/O線程負責將這些消息轉換成請求發送到集群。如果使用后不關閉生產者,則會泄露這些資源。

send()方法是異步的,添加消息到緩沖區等待發送,並立即返回。生產者將單個的消息批量在一起發送來提高效率。

ack是判別請求是否為完整的條件(就是是判斷是不是成功發送了)。我們指定了“all”將會阻塞消息,這種設置性能最低,但是是最可靠的。

retries,如果請求失敗,生產者會自動重試,我們指定是0次,如果啟用重試,則會有重復消息的可能性。

producer(生產者)緩存每個分區未發送消息。緩存的大小是通過 batch.size 配置指定的。值較大的話將會產生更大的批。並需要更多的內存(因為每個“活躍”的分區都有1個緩沖區)。

默認緩沖可立即發送,即遍緩沖空間還沒有滿,但是,如果你想減少請求的數量,可以設置linger.ms大於0。這將指示生產者發送請求之前等待一段時間,希望更多的消息填補到未滿的批中。這類似於TCP的算法,例如上面的代碼段,可能100條消息在一個請求發送,因為我們設置了linger(逗留)時間為1毫秒,然后,如果我們沒有填滿緩沖區,這個設置將增加1毫秒的延遲請求以等待更多的消息。需要注意的是,在高負載下,相近的時間一般也會組成批,即使是 linger.ms=0。在不處於高負載的情況下,如果設置比0大,以少量的延遲代價換取更少的,更有效的請求。

buffer.memory 控制生產者可用的緩存總量,如果消息發送速度比其傳輸到服務器的快,將會耗盡這個緩存空間。當緩存空間耗盡,其他發送調用將被阻塞,阻塞時間的閾值通過max.block.ms設定,之后它將拋出一個TimeoutException。

key.serializervalue.serializer示例,將用戶提供的key和value對象ProducerRecord轉換成字節,你可以使用附帶的ByteArraySerializaerStringSerializer處理簡單的string或byte類型。

send()

public Future<RecordMetadata> send(ProducerRecord<K,V> record,Callback callback) 

異步發送一條消息到topic,並調用callback(當發送已確認)。

send是異步的,並且一旦消息被保存在等待發送的消息緩存中,此方法就立即返回。這樣並行發送多條消息而不阻塞去等待每一條消息的響應。

發送的結果是一個RecordMetadata,它指定了消息發送的分區,分配的offset和消息的時間戳。如果topic使用的是CreateTime,則使用用戶提供的時間戳或發送的時間(如果用戶沒有指定指定消息的時間戳)如果topic使用的是LogAppendTime,則追加消息時,時間戳是broker的本地時間。

由於send調用是異步的,它將為分配消息的此消息的RecordMetadata返回一個Future。如果future調用get(),則將阻塞,直到相關請求完成並返回該消息的metadata,或拋出發送異常。

如果要模擬一個簡單的阻塞調用,你可以調用get()方法。

 byte[] key = "key".getBytes(); byte[] value = "value".getBytes(); ProducerRecord<byte[],byte[]> record = new ProducerRecord<byte[],byte[]>("my-topic", key, value) producer.send(record).get(); 

完全無阻塞的話,可以利用回調參數提供的請求完成時將調用的回調通知。

 ProducerRecord<byte[],byte[]> record = new ProducerRecord<byte[],byte[]>("the-topic", key, value); producer.send(myRecord, new Callback() { public void onCompletion(RecordMetadata metadata, Exception e) { if(e != null) e.printStackTrace(); System.out.println("The offset of the record we just sent is: " + metadata.offset()); } }); 

發送到同一個分區的消息回調保證按一定的順序執行,也就是說,在下面的例子中 callback1 保證執行 callback2 之前:

producer.send(new ProducerRecord<byte[],byte[]>(topic, partition, key1, value1), callback1); producer.send(new ProducerRecord<byte[],byte[]>(topic, partition, key2, value2), callback2); 

注意:callback一般在生產者的I/O線程中執行,所以是相當的快的,否則將延遲其他的線程的消息發送。如果你需要執行阻塞或計算昂貴(消耗)的回調,建議在callback主體中使用自己的Executor來並行處理。

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM