python confluent kafka客戶端配置kerberos認證

    kafka的認證方式一般有如下3種：

    1. SASL/GSSAPI  從版本0.9.0.0開始支持

    2. SASL/PLAIN   從版本0.10.0.0開始支持

    3. SASL/SCRAM-SHA-256 以及 SASL/SCRAM-SHA-512   從版本0.10.2.0開始支持

    其中第一種SASL/GSSAPI的認證就是kerberos認證，對於java來說有原生的支持，但是對於python來說配置稍微麻煩一些，下面說一下具體的配置過程，confluent kafka模塊底層依賴於librdkafka，這是使用c編寫的高性能的kafka客戶端庫，有好多語言的庫都是依賴於這個，所以GSSAPI接口的開啟也需要在librdkafka編譯的時候支持

    librdkafka源碼：https://github.com/edenhill/librdkafka

    編譯之前需要先安裝必要的開發包，否則相關的接口編譯不進去

    首先是openssl庫，使用yum安裝為： yum -y install openssl openssl-devel ，編譯openssl只能支持默認的PLAIN還有SCRAM這兩種機制，無法支持GSSAPI的機制，還需要編譯libsasl2依賴，yum安裝命令如下：

yum install cyrus-sasl-gssapi cyrus-sasl-devel

    在ubuntu下使用命令： apt-get install libsasl2-modules-gssapi-mit libsasl2-dev 安裝libsasl2開發包

    然后確認一下是否有zlib庫，這個是方便對kafka消息壓縮使用的，一般都會存在，安裝命令： yum install zlib-devel ，如果需要更高的性能可以手動編譯安裝zstd並且啟用壓縮，這里不再詳細敘述

    上面的庫都安裝成功就可以開始編譯librdkafka源碼了，這里源碼包為：librdkafka-1.2.1.tar.gz，安裝命令如下：

# 解壓包
tar -xvzf librdkafka-1.2.1.tar.gz
cd librdkafka-1.2.1
# 編譯源碼
./configure
make
make install

    上面注意一下在執行命令./configure之后，根據輸出確認libssl以及libsasl2是否被開啟，如下：

    

    這里libssl以及libsasl2都顯示ok說明是可以的，現在SSL和SASL SCRAM以及SASL GSSAPI都已經支持了，執行configure階段沒指定prefix則默認安裝位置為/usr/local，動態庫位置就為：/usr/local/lib，需要將這個目錄添加到動態庫連接列表中，比如加到/etc/ld.so.conf，保存后執行ldconfig生效

    最后可以編譯和安裝python的confluent kafka模塊，這里安裝的版本是1.2.0，安裝之后可以運行下面的代碼測試：

#!/usr/bin/env python3
# coding=utf-8
from confluent_kafka import Producer

def delivery_report(err, msg):
    """ Called once for each message produced to indicate delivery result.
        Triggered by poll() or flush(). """
    if err is not None:
        print('Message delivery failed: {}'.format(err))
    else:
        print('Message delivered to {} [{}]'.format(msg.topic(), msg.partition()))

if __name__ == '__main__':
    producer_conf = {
        "bootstrap.servers": '192.168.0.3:9092,192.168.0.4:9092,192.168.0.5:9092',
        "security.protocol": 'sasl_plaintext',
        'sasl.kerberos.service.name': 'kafka',
        'sasl.kerberos.keytab': '/opt/user.keytab',
        'sasl.kerberos.principal': 'kafkauser',
    }
    p = Producer(producer_conf)

    p.poll(0)
    p.produce('testTopic', 'confluent kafka test'.encode('utf-8'),
        callback=delivery_report)

    p.flush()
    print('done')

    如果生產消息正常就配置成功了，使用GSSAPI只需要配置security.protocol以及keytab的路徑即可，其他的認證參數比如用戶名和密碼在不同的認證機制下配置，更多的配置參數參考文檔：https://github.com/edenhill/librdkafka/blob/master/CONFIGURATION.md

    librdkafka SASL認證的詳細配置流程參考：https://github.com/edenhill/librdkafka/wiki/Using-SASL-with-librdkafka