kafka客戶端發布record(消息)
到kafka集群。
新的生產者是線程安全的,在線程之間共享單個生產者實例,通常單例比多個實例要快。
一個簡單的例子,使用producer發送一個有序的key/value(鍵值對),放到java的main
方法里就能直接運行,
Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("acks", "all"); props.put("retries", 0); props.put("batch.size", 16384); props.put("linger.ms", 1); props.put("buffer.memory", 33554432); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); Producer<String, String> producer = new KafkaProducer<>(props); for(int i = 0; i < 100; i++) producer.send(new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i))); producer.close();
生產者的緩沖空間池保留尚未發送到服務器的消息,后台I/O線程負責將這些消息轉換成請求發送到集群。如果使用后不關閉生產者,則會泄露這些資源。
send()
方法是異步的,添加消息到緩沖區等待發送,並立即返回。生產者將單個的消息批量在一起發送來提高效率。
ack
是判別請求是否為完整的條件(就是是判斷是不是成功發送了)。我們指定了“all”將會阻塞消息,這種設置性能最低,但是是最可靠的。
retries
,如果請求失敗,生產者會自動重試,我們指定是0次,如果啟用重試,則會有重復消息的可能性。
producer
(生產者)緩存每個分區未發送消息。緩存的大小是通過 batch.size
配置指定的。值較大的話將會產生更大的批。並需要更多的內存(因為每個“活躍”的分區都有1個緩沖區)。
默認緩沖可立即發送,即遍緩沖空間還沒有滿,但是,如果你想減少請求的數量,可以設置linger.ms
大於0。這將指示生產者發送請求之前等待一段時間,希望更多的消息填補到未滿的批中。這類似於TCP的算法,例如上面的代碼段,可能100條消息在一個請求發送,因為我們設置了linger(逗留)時間為1毫秒,然后,如果我們沒有填滿緩沖區,這個設置將增加1毫秒的延遲請求以等待更多的消息。需要注意的是,在高負載下,相近的時間一般也會組成批,即使是 linger.ms=0
。在不處於高負載的情況下,如果設置比0大,以少量的延遲代價換取更少的,更有效的請求。
buffer.memory
控制生產者可用的緩存總量,如果消息發送速度比其傳輸到服務器的快,將會耗盡這個緩存空間。當緩存空間耗盡,其他發送調用將被阻塞,阻塞時間的閾值通過max.block.ms
設定,之后它將拋出一個TimeoutException。
key.serializer
和value.serializer
示例,將用戶提供的key和value對象ProducerRecord轉換成字節,你可以使用附帶的ByteArraySerializaer或StringSerializer處理簡單的string或byte類型。
send()
public Future<RecordMetadata> send(ProducerRecord<K,V> record,Callback callback)
異步發送一條消息到topic,並調用callback
(當發送已確認)。
send是異步的,並且一旦消息被保存在等待發送的消息緩存
中,此方法就立即返回。這樣並行發送多條消息而不阻塞去等待每一條消息的響應。
發送的結果是一個RecordMetadata,它指定了消息發送的分區,分配的offset和消息的時間戳。如果topic使用的是CreateTime,則使用用戶提供的時間戳或發送的時間(如果用戶沒有指定指定消息的時間戳)如果topic使用的是LogAppendTime,則追加消息時,時間戳是broker的本地時間。
由於send調用是異步的,它將為分配消息的此消息的RecordMetadata
返回一個Future。如果future調用get(),則將阻塞,直到相關請求完成並返回該消息的metadata,或拋出發送異常。
如果要模擬一個簡單的阻塞調用,你可以調用get()
方法。
byte[] key = "key".getBytes(); byte[] value = "value".getBytes(); ProducerRecord<byte[],byte[]> record = new ProducerRecord<byte[],byte[]>("my-topic", key, value) producer.send(record).get();
完全無阻塞的話,可以利用回調參數提供的請求完成時將調用的回調通知。
ProducerRecord<byte[],byte[]> record = new ProducerRecord<byte[],byte[]>("the-topic", key, value); producer.send(myRecord, new Callback() { public void onCompletion(RecordMetadata metadata, Exception e) { if(e != null) e.printStackTrace(); System.out.println("The offset of the record we just sent is: " + metadata.offset()); } });
發送到同一個分區的消息回調保證按一定的順序執行,也就是說,在下面的例子中 callback1
保證執行 callback2
之前:
producer.send(new ProducerRecord<byte[],byte[]>(topic, partition, key1, value1), callback1); producer.send(new ProducerRecord<byte[],byte[]>(topic, partition, key2, value2), callback2);
注意:callback一般在生產者的I/O線程中執行,所以是相當的快的,否則將延遲其他的線程的消息發送。如果你需要執行阻塞或計算昂貴(消耗)的回調,建議在callback主體中使用自己的Executor來並行處理。