golang高性能RPC：Apache Thrift安裝使用完全攻略

在企業應用中RPC的使用可以說是十分的廣泛，使用該技術可以方便的與各種程序交互而不用考慮其編寫使用的語言。

如果你對RPC的概念還不太清楚，可以點擊這里。

現今市面上已經有許多應用廣泛的RPC框架，比如GRPC，而今天我們要介紹的是同樣使用廣泛的Apache Thrift。這篇文章將帶你安全越過所有坑點，請放心食用。

Thrift簡介

Thrift是Facebook的一個開源項目，后來進入Apache進行孵化。Thrift也是支持跨語言的，所以它有自己的一套IDL。目前它支持幾乎所有主流的編程語言：C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, OCaml and Delphi and other languages。Thrift可以支持多種信息格式，除了Thrift私有的二進制編碼規則和一種LVQ（類似於TLV消息格式）的消息格式，還有常規的JSON格式。Thrift的網絡協議建立在TCP協議基礎上，並且支持阻塞式IO模型和多路IO復用模型。我們將在后文詳細講解Apache Thrift的使用。Thrift也是目前最流行的RPC框架之一，從網絡上各種性能測試情況開，Thrift的性能都是領先的。Thrift的官網地址為：http://thrift.apache.org/

安裝

首先是安裝golang的庫：

go get git.apache.org/thrift.git/lib/go/thrift/...

為了能編譯Thrift IDL，我們還得編譯thrift-compiler，主要的坑全在這里。

首先，如果你在用ubuntu，千萬別用apt去安裝，因為官方源和所有ppa里的compiler版本嚴重過時了；

其次網上的單獨編譯compiler教程不要看，基本都過時了，現在thrift的版本已經是1.0.0-dev，如果按那些教程編譯出來的工具是無法和go get安裝的庫一起使用的，而且很大概率你連正常編譯都無法進行，如果不使用go get，那么可以按照這里的方法2進行安裝。（方法2里編譯compiler的步驟請跳過，使用我在下面要講的方法）

好了下面我們開始安裝thrift-compiler，首先是安裝依賴：

sudo apt-get install libboost-dev libboost-test-dev libboost-program-options-dev libboost-filesystem-dev libboost-thread-dev libevent-dev automake libtool flex bison pkg-config g++ libssl-dev

接着我們clone最新的thrift倉庫，然后編譯：

git clone https://github.com/apache/thrift
cd thrift
./bootstrap.sh
./configure --without-qt4 --wihout-qt5
make
sudo make install

解釋一下，--without-qt*是為了加快編譯並防止報錯，因為qt始終要依賴moc，很容易出問題而且我們一般也用不到，所以舍去。

如果你也不需要其他語言的生成功能，可以用--without-[name]來去除，具體參見./configure --help。

make也可以改成”make -j N“，N是你cpu可用核心數，並行編譯加快速度。

安裝好后我們運行thrift命令驗證一下安裝：

thrift -version
# Thrift version 1.0.0-dev

這樣Thrift就算安裝完成了。

另外，不使用go get而用源碼進行安裝時，請保證thrift-compiler和你安裝的庫的版本相同，否則會有數不清的問題出現。當然，使用go get+自行編譯的安裝方法不會有這些問題。

Thrift的使用

首先我們要編寫IDL文件，定義RPC的接口和數據。如果你還不熟悉thrift IDL的語法，可以參考這里，它和c/c++的語法十分相似，上手起來也較容易。

我們來看一個例子，我們定義一個“compute”模塊，在其中定義DivMod（計算商和模）和MulRange（計算階乘）兩個服務，並定義一種包含DivMod計算結果的數據類型：

namespace go compute

struct Result {
    1: i64 div;
    2: i64 mod;
}

service DivMod {
    Result DoDivMod(1:i64 arg1, 2:i64 arg2);
}

service MulRange {
    string BigRange(1:i64 max)
}

然后我們用thrift-compiler將其編譯成golang代碼：

thrift -r --gen go compute.thrift

它會在當前目錄下生成一個gen-go目錄，在其中有個compute目錄，那就是我們生成的模塊，copy出來放在$GOPATH里。

接下來我們來實現服務端，現在我們只定義了接口，而沒有實現它，建立服務端需要如下幾個步驟：

1. 實現服務處理接口，在1.0版本中，接口第一個參數需要是context.Context，用以支持取消或對RPC調用設置超時。
2. 創建 Processor，也就是把實現的接口注冊進RPC服務創建 Transport，Transport用於管理網絡IO。它是一個interface，可以是TSocket，TServerSocket以及NewTHttpClient*或TTransportFactory.GetTransport返回的對象。
3. 創建 Protocol，也就是傳輸協議，一般使用二進制協議來傳輸數據，當然也可以選擇json或其他格式。
4. 創建server，使用前面的Processor，Transport，Protocol以及ip地址來創建服務端。
5. 運行server。

下面我們先實現接口：

// computeThrift 實現service中定義的方法
type divmodThrift struct {
}

// 每個方法除了定義的返回值之外還要返回一個error，包括定義成void的方法。自定義類型會在名字之后加一條下划線
// 暫時用不到context，所以忽略
func (d *divmodThrift) DoDivMod(_ context.Context, arg1, arg2 int64) (*compute.Result_, error) {
    divRes := int64(arg1 / arg2)
    modRes := int64(arg1 % arg2)
    // 生成的用於生成自定義數據對象的函數
    res := compute.NewResult_()
    res.Div = divRes
    res.Mod = modRes
    
    return res, nil
}

// 盡量一個struct對應一個service
type mulrangeThrift struct {
}

func (m *mulrangeThrift) BigRange(_ context.Context, max int64) (string, error) {
    result := new(big.Int)
    result.SetString("1", 10)
    result = result.MulRange(2, max)
    
    return result.String()
}

接口實現之后我們就要建立並啟動服務器了，首先我們先建立Transport：

// 創建服務器
serverTransport, err := thrift.NewTServerSocket(net.JoinHostPort("127.0.0.1", "9999"))
if err != nil {
    fmt.Println("Error!", err)
    os.Exit(1)
}

然后創建傳輸協議：

// 創建二進制協議
protocolFactory := thrift.NewTBinaryProtocolFactoryDefault()
transportFactory := thrift.NewTFramedTransportFactory(thrift.NewTTransportFactory())

接着我們把實現的接口注冊成Processor：

// 創建Processor，用一個端口處理多個服務
divmodProcessor := compute.NewDivModProcessor(new(divmodThrift))
mulrangeProcessor := compute.NewMulRangeProcessor(new(mulrangeThrift))
    
multiProcessor := thrift.NewTMultiplexedProcessor()
// 給每個service起一個名字
multiProcessor.RegisterProcessor("divmod", divmodProcessor)
multiProcessor.RegisterProcessor("mulrange", mulrangeProcessor)

這里我們用TMultiplexedProcessor來實現一個端口監聽多個服務。

最后就是啟動服務器：

// 啟動服務器
server := thrift.NewTSimpleServer4(multiProcessor, serverTransport, transportFactory, protocolFactory)
server.Serve()
// 退出時停止服務器
defer server.Stop()

啟動服務器這里也有坑點，網上有文章說使用NewTSimpleServer2可以直接啟用二進制格式的數據傳輸，這是錯的，想用二進制或其他格式傳輸數據，必須明確生成對應的ProtocolFactory並使用NewTSimpleServer4創建服務器。官方給的例子里就是這樣做的，我也是在被反復坑了數次之后才確認了這個問題。

客戶端：

要建立客戶端，也要按照如下幾個步驟：

1. 創建 Transport
2. 創建 Protocol
3. 基於 Potocol 創建 Client
4. 打開 Transport（不一定要在client創建后才打開，但必須在protocol創建后，接口調用前打開）
5. 調用接口

下面我們來看代碼：

func main() {
    // 先建立和服務器的連接的socket，再通過socket建立Transport
    socket, err := thrift.NewTSocket(net.JoinHostPort("127.0.0.1", "9999"))
    if err != nil {
        fmt.Println("Error opening socket:", err)
        os.Exit(1)
    }
    transport := thrift.NewTFramedTransport(socket)
    
    // 創建二進制協議
    protocol := thrift.NewTBinaryProtocolTransport(transport)
    // 打開Transport，與服務器進行連接
    if err := transport.Open(); err != nil {
        fmt.Fprintln(os.Stderr, "Error opening socket to "+"localhost"+":"+"9999", err)
        os.Exit(1)
    }
    defer transport.Close()
    
    // 接口需要context，以便在長操作時用戶可以取消RPC調用
    ctx := context.Background()
    
    // 使用divmod服務
    divmodProtocol := thrift.NewTMultiplexedProtocol(protocol, "divmod")
    // 創建代理客戶端，使用TMultiplexedProtocol訪問對應的服務
    c := thrift.NewTStandardClient(divmodProtocol, divmodProtocol)
    
    client := compute.NewDivModClient(c)
    res, err := client.DoDivMod(ctx, 100, 3)
    if err != nil {
        fmt.Println(err)
        os.Exit(1)
    }
    fmt.Println(res)
    
    // 使用mulrange服務
    // 步驟與上面的相同
    mulProtocol := thrift.NewTMultiplexedProtocol(protocol, "mulrange")
    c = thrift.NewTStandardClient(mulProtocol, mulProtocol)
    client2 := compute.NewMulRangeClient(c)
    num, err := client2.BigRange(ctx, 100)
    if err != nil {
        fmt.Println(err)
        os.Exit(1)
    }
    fmt.Println(num)
}

當然，大部分情況下我們可能都是用單服務，對於單服務來說，0.11版本的接口和1.0並沒有變化，這個找網上的例子即可。

go build之后我們分別運行client和server。

下面是輸出，計算了100÷3和100%3的結果，還有100的階乘，客戶端調用接口后檢查err，沒有錯誤發生就輸出結果：

這樣一個支持多服務的RPC示例就完成了。

 

如果有疑問或者建議，歡迎在評論指出。

祝玩得愉快！