現如今微服務很流行,而微服務很有可能是使用不同語言進行構建的。而微服務之間通常需要相互通信,所以微服務之間必須在以下幾個方面達成共識:
- 需要使用某種API
- 數據格式
- 錯誤的模式
- 負載均衡
- 。。。
現在最流行的一種API風格可能是REST,它主要是通過HTTP協議來傳輸JSON數據。
但是現在我們可以看看gRPC(https://grpc.io/),它來自Google,並且支持眾多主流的語言包括Go,Dart,C#,C/C++,Nodejs,Python等等。
下面就學習一下gRPC。
gRPC能解決哪些問題?
構建(Web)API是挺麻煩的,因為構建API時我們得考慮:
- 數據的格式是JSON、XML還是二進制的;
- 端點地址以及GET還是POST等;
- 如何調用API以及對異常的處理規則;
- API的效率:一次調用讀取多少數據?是否太多了或太少了?太少的話可能會導致多次API的調用;
- 延遲;
- 擴展性,是否能支持成上千個客戶端
- 負載均衡
- 與其他語言的互操作性
- 如何處理身份認證、監控、日志等等
以上這些問題據說gRPC都能解決。。😱
再次介紹一下gRPC
之前說了gRPC來自Google,它是一個開源的框架;它同時也是Cloud Native Computation基金會(CNCF)的一部分,就像Docker和Kubernetes一樣。
gRPC允許你為RPC(Remote Procedure Call)定義請求和響應,然后gRPC會幫你處理一切剩余問題。
它速度快,執行效率高,基於HTTP/2構建,低延遲,支持流,與開發語言無關,並且可以很簡單的插入身份認證、負載均衡、日志和監控等功能。
RPC是啥
RPC是(Remote Procedure Call)遠程過程調用。
在客戶端代碼使用RPC調用的時候,就像直接調用了服務端的一個函數一樣。
例如在服務器端代碼是這樣的:
而在“遙遠”的客戶端它是這樣調用服務器端的邏輯的,就像調用本地方法一樣:
而實際上客戶端在調用這個方法的時候,是要走網絡通信的。
RPC它不是一個新的概念,很早它就出現了。但是它存在很多的問題。而gRPC它是對RPC一種非常簡潔的實現並且解決了很多RPC的問題。
如何學習gRPC?
首先,你得學習Protocol Buffers(https://developers.google.com/protocol-buffers/),簡單的說,它可以用來定義消息和服務。
然后,你只需要實現服務即可,剩余的gRPC代碼將會自動為你生成。
.proto這個文件可以適用於十幾種開發語言(包括服務端和客戶端),並且它允許你使用同一個框架來支持每秒百萬級以上的RPC調用。
gPRC使用的是合約優先的API開發模式,它默認使用Protocol buffers (protobuf) 作為接口設計語言(IDL),這個.proto文件包括兩部分:
- gRPC服務的定義
- 服務端和客戶端之間傳遞的消息
看一個官網的例子(protobuf):
在這里定義了一個Greeter服務,它里面定義了一個SayHello的rpc調用。SayHello會發送HelloRequest這個消息,接收HelloReply這個消息。
為什么使用Protocol Buffers?
因為:
- 它和開發語言無關
- 可以生成所有主流開發語言的代碼
- 數據是二進制格式的,串行化的效率高,Payload比較小
- 也很適合傳遞大量的數據
- 通過設定某些規則,是的API的進化也很簡單
Protocol Buffer
開發環境:
- IDE: VSCode
- VSCode的擴展插件:vscode-proto3和Clang-Format這兩個擴展
- Windows還需要安裝Clang,Windows 64位系統的地址如下:Clang for Windows (64-bit);Mac:
brew install clang-format
。
第一個例子
選個文件夾,建立一個名叫first.proto的文件:
1. 這行代碼表示我們使用的是語法是proto3,之前還有一個proto2;如果你不寫這一行,那么protocol buffer編譯器會認為你采用的是proto2。這個必須是文件的第一個非空非注釋行。
2. 這里是定義了一個消息名稱為FirstMessage,類型是message。它里面定義了三個字段,它們都是標量類型(Scalar Type),你也可以定義復合類型,這個以后再說。
3. 是指字段(Field)的類型
4. 字段的名稱
5. 字段的數值(也叫Tag),這個數字是唯一的。它們是用來在信息格式里識別你的字段的,一旦該類型被使用了,那么這個數字就不要再改變了。
標量類型
數值型
數值型有很多種形式:double, float, int32, int64, uint32, uint64, sint32, sint64, fixed32, fixed64, sfixed32, sfixed64。
根據需要選擇對應的數值類型。
布爾型
bool型可以有True和False兩個值。
字符串
string表示任意長度的文本,但是它必須包含的是UTF-8編碼或7位ASCII的文本,長度不可超過232。
字節型
bytes可表示任意的byte數組序列,但是長度也不可以超過232 ,最后是由你來決定如何解釋這些bytes。例如你可以使用這個類型來表示一個圖片。
做個例子
可以自己做一個例子,需求是這樣的:這個信息表示的是一個人Person,使用proto3語法,字段如下:ID,姓名,身高,體重,頭像,電子郵件,郵件是否已驗證。
這個應該沒有什么難度,不過要注意一下別忘記標點符號。
字段的數值(Tag)
在Protocol Buffers里面,字段的名其實沒那么重要,但是寫C#代碼的時候,字段名還是很重要的。
對於protobuf來說,這個tag是更為重要的。
可以使用的最小的tag數值是1,最大值是229 - 1, 或者 536,870,911。但是你不可以使用19000到19999之間的數,這部分數是保留的。
還有一點值得注意的是:
從1到15的Tag數只占用1個字節的空間,所以它們應該被用在頻繁使用的字段上。而從16到2047,則占用兩個字節,它們可以用在不頻繁使用的字段上。
字段規則
protobuf的字段必須滿足以下兩個規則之一:
單數字段(Singular)
大概意思就是指這個字段只能出現0或1次(不能超過一次),這也是proto3的默認字段規則。
重復字段(Repeated)
與singular相對的就是repeated。如果你想做一個list或數組的話,你可以使用重復字段這個概念。這個list可以有任何數量(包括0)的元素。它里面的值的順序將會得到保留。
Repeated Fields 例子
還是使用前面的Person這個例子,我們在里面添加一個repeated字段(電話號碼):
就是在前面加上repeated這個關鍵字即可。
在proto3里面,標量類型的repeated字段采用的是packed編碼。
注釋
proto文件里可以添加注釋。它們通常被當作你定義的這些消息的文檔。
注釋很簡單,還是兩種形式,直接看代碼就明白了:
保留的字段
如果你對你定義的消息類型進行了更新,例如刪除某個字段或者注釋掉某個字段,那么其它開發者在以后更新這個消息類型的時候可能會重新使用被你刪除/注釋掉的字段的數值(tag)。如果以后還需要使用這個消息類型的老版本的proto文件,那么這將會引起嚴重的問題,例如數據損壞、隱私漏洞等等。
那么一種避免此類事情發生的解決辦法就是將你刪除/注釋掉的這些字段的數值(或/並且包括字段名,因為字段名可引起JSON序列化的問題)標記為reserved,如果其他人再使用這個數值作為字段標識符,那么編譯器就會有錯誤提示:
注意,不可以把reserved數值和字段名放在同一個reserved語句里。
字段的默認值
當消息被解析的時候,如果編碼的消息里不含有特定的一個singular元素,那么在被解析對象里相應的字段就會被設為默認值。
常用類型的默認值如下:
- string:空字符串
- bytes:空的byte數組
- bool:false
- 數值型:0
- 枚舉enum:枚舉里定義的第一個枚舉值,值必須是0
- repeated:通常是相應開發語言里的空list
- 還有個消息類型的字段,它的默認值和開發語言有關,這個以后再說。
枚舉
之前說了,枚舉里面定義的第一個值就是這個枚舉的默認值。
Enum的tag必須從0開始,所以0就是枚舉的數值默認值。
繼續上個例子
我們對Person添加一個枚舉類型的字段:性別 Gender:
首先需要定義枚舉類型,這里定義了一個枚舉,名稱是Gender,里面有3個值,默認值是NOT_SPECIFIED,數值默認值就是0。
然后使用這個枚舉類型定義了一個字段,名稱為gender,tag數為10。
為枚舉值起別名
枚舉值是可以起別名的,起別名的作用就是允許兩個枚舉值擁有同一個數值。
要想起別名,首先需要設置allow_alias這個option為true:
然后我們為FEMALE這個枚舉值起了一個別名叫做WOMAN,它們的數值是一樣的。同樣的MAN是MALE的數值也是一樣的。
枚舉里面的常量的值必須不能超過32位整型的數值,不建議使用負數。
枚舉可以定義在message里面,也可以在外邊單獨定義以便復用。如果另一個消息想使用Person里面這個Gender枚舉,那么可以使用Person.Gender這種形式。
針對枚舉值被刪除/注釋掉這種情況,它也可以使用reserved:
數值和常量名也必須分開使用兩個reserved語句。
其中max表示可能的最大的值。
使用其它的信息類型
可以使用其它的信息類型作為字段的類型。
我們可以在同一個proto文件里定義多個信息類型(為了截圖方便,我去掉了Person的一些字段):
在這個文件里,除了Person信息類型外,我還定義了Date信息類型。
所以,我可以在Person里面使用Date作為它的字段類型:
引入定義
如果想要使用的信息類型已經在其它的proto文件定義好了呢?這個時候就需要引入信息類型的定義。
現在我把Date定義移動到了date.proto這個文件里面:
然后在person.proto里面我們可以引用date.proto:
嵌套類型
Protocol Buffer允許在信息類型里面定義其它的信息類型。
直接看例子:
如果想在Person外邊使用Address這個類型,那么就需要這樣用:Person.Address。
打包
你可以向proto文件添加可選的打包(package)說明符,以避免消息類型間的名稱沖突。
所以說打包是很必要的。
打包之后生成的C#代碼就會使用命名空間來對應proto里面的package,但是命名方式會改為Pascal Case(每個單詞首字母大寫)。
上面的代碼在C#里面的情況就是:Person類在My.Project這個命名空間下。
但是如果你在proto文件里設置了option csharp_namespace這個選項,那么在C#里的命名空間就是該選項指定的命名空間了:
這時候,C#里面Perosn類的命名空間就是My.WebApis了,但是在proto文件里它的包還是my.project。
設置Protocol Buffers編譯器
protoc編譯器主要就是用來生成代碼的,它的下載地址目前是:https://github.com/protocolbuffers/protobuf/releases/
在里面選擇你使用的操作系統的版本:
下載后解壓縮到某個路徑,然后把解壓目錄下的bin目錄添加到系統的環境變量里。
然后打開命令行,輸入protoc,如果有類似下面的東西出現,說明安裝成功了:
這里面的--proto_path=PATH這個參數比較常用,它用來指定到哪個文件見來查找引入。
再有就這個參數很常用:
--csharp_out=OUT_DIR用來指定存放生成的C#代碼的目錄。
我們先試驗一下,生成Person的C#代碼:
執行成功后就沒有任何提示,打開csharp目錄,可以看到Person.cs這個文件:
而Person.cs文件里面的代碼就比較多了:
千萬不要去修改這個文件!
第一篇文章先到這。