caffe protobuf介紹

caffe protobuf介紹

caffe中的參數管理是通過google於2008年開源的一款非常優秀的序列化反序列化工具——prtotocol buffer實現的。

 

一、Protobuf消息定義

 

      消息由至少一個字段組合而成，類似於C語言中的結構。每個字段都有一定的格式。

      字段格式：限定修飾符① | 數據類型② | 字段名稱③ | = | 字段編碼值④ | [字段默認值⑤]

 

（1）限定修飾符包含 required\optional\repeated

 

     Required: 表示是一個必須字段，必須相對於發送方，在發送消息之前必須設置該字段的值，對於接收方，必須能夠識別該字段的意思。發送之前沒有設置required字段或者無法識別required字段都會引發編解碼異常，導致消息被丟棄。

      Optional：表示是一個可選字段，可選對於發送方，在發送消息時，可以有選擇性的設置或者不設置該字段的值。對於接收方，如果能夠識別可選字段就進行相應的處理，如果無法識別，則忽略該字段，消息中的其它字段正常處理。---因為optional字段的特性，很多接口在升級版本中都把后來添加的字段都統一的設置為optional字段，這樣老的版本無需升級程序也可以正常的與新的軟件進行通信，只不過新的字段無法識別而已，因為並不是每個節點都需要新的功能，因此可以做到按需升級和平滑過渡。

      Repeated：表示該字段可以包含0~N個元素。其特性和optional一樣，但是每一次可以包含多個值。可以看作是在傳遞一個數組的值。

（2）數據類型

Protobuf定義了一套基本數據類型。幾乎都可以映射到C++\Java等語言的基礎數據類型.

 

N 表示打包的字節並不是固定。而是根據數據的大小或者長度。

例如int32，如果數值比較小，在0~127時，使用一個字節打包。

關於枚舉的打包方式和uint32相同。

關於message，類似於C語言中的結構包含另外一個結構作為數據成員一樣。

關於 fixed32 和int32的區別。fixed32的打包效率比int32的效率高，但是使用的空間一般比int32多。因此一個屬於時間效率高，一個屬於空間效率高。根據項目的實際情況，一般選擇fixed32，如果遇到對傳輸數據量要求比較苛刻的環境，可以選擇int32.

（3）字段名稱

字段名稱的命名與C、C++、Java等語言的變量命名方式幾乎是相同的。

protobuf建議字段的命名采用以下划線分割的駝峰式。例如 first_name 而不是firstName.

（4）字段編碼值

     有了該值，通信雙方才能互相識別對方的字段。當然相同的編碼值，其限定修飾符和數據類型必須相同。編碼值的取值范圍為 1~2^32（4294967296）。其中 1~15的編碼時間和空間效率都是最高的，編碼值越大，其編碼的時間和空間效率就越低（相對於1-15），當然一般情況下相鄰的2個值編碼效率的是相同的，除非2個值恰好實在4字節，12字節，20字節等的臨界區。比如15和16.1900~2000編碼值為Google protobuf 系統內部保留值，建議不要在自己的項目中使用。

protobuf 還建議把經常要傳遞的值把其字段編碼設置為1-15之間的值。消息中的字段的編碼值無需連續，只要是合法的，並且不能在同一個消息中有字段包含相同的編碼值。

建議：項目投入運營以后涉及到版本升級時的新增消息字段全部使用optional或者repeated，盡量不實用required。如果

（4）默認值

 

當在傳遞數據時，對於required數據類型，如果用戶沒有設置值，則使用默認值傳遞到對端。當接受數據是，對於optional字段，如果沒有接收到optional字段，則設置為默認值。

 二、注意事項

（1）關於import

protobuf 接口文件可以像C語言的h文件一個，分離為多個，在需要的時候通過 import導入需要對文件。其行為和C語言的#include或者java的import的行為大致相同。

（2）關於package

避免名稱沖突，可以給每個文件指定一個package名稱，對於java解析為java中的包。對於C++則解析為名稱空間。

（3）關於message

支持嵌套消息，消息可以包含另一個消息作為其字段。也可以在消息內定義一個新的消息。

（4）關於enum

枚舉的定義和C++相同，但是有一些限制。

枚舉值必須大於等於0的整數。

使用分號(;)分隔枚舉變量而不是C++語言中的逗號(,)

eg.

enum VoipProtocol 

{

    H323 = 1;

    SIP  = 2;

    MGCP = 3;

    H248 = 4;

}

使用了required，需要全網統一升級，如果使用optional或者repeated可以平滑升級。

三、安裝

下載地址：https://protobuf.googlecode.com/svn/rc/protobuf-2.6.0.tar.gz

 運行：（1）./autogen.sh；

       （2）./configure --prefix=/usr （這樣可以不用手動添加環境變量）
       （3）make
       （4） make check
       （5）make install

四、例子分析

從例子入手是學習一門新工具的最佳方法。下面我們通過一個簡單的例子看看我們如何用protobuf的C++接口序列化反序列化一個結構體。就以protobuf自帶的例子（protobuf-master/examples下面）。

(1)編輯您將要序列化的結構體描述文件.proto

protobuf使用前，先編寫proto文件，這是描述我們需要配置參數的數據結構。這個例子里面的proto如下：

 

<span style="font-family:KaiTi_GB2312;font-size:18px;"><span style="font-family:KaiTi_GB2312;font-size:18px;">// See README.txt for information and build instructions.

package tutorial;

option java_package = "com.example.tutorial";
option java_outer_classname = "AddressBookProtos";

message Person {
  required string name = 1;
  required int32 id = 2;        // Unique ID number for this person.
  optional string email = 3;

  enum PhoneType {
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  }

  message PhoneNumber {
    required string number = 1;
    optional PhoneType type = 2 [default = HOME];
  }

  repeated PhoneNumber phone = 4;
}

// Our address book file is just one of these.
message AddressBook {
  repeated Person person = 1;
}</span></span>

前幾行是定義包的，可以忽略。

 

message Person{...}定義了一個需要傳輸的參數結構體，可見包括這么幾個單元：name（string類型）、id（int32類型）、email（string類型）、phone（PhoneNumber類型，嵌套在Person內的類）。前面標記為“required”是必須有值的，而“optional“則為可選項，”repeated“表示后面單元為相同類型的一組向量。

(2)用protoc工具“編譯”Hello.proto

protoc工具使用的一般格式是：

protoc -I=$SRC_DIR --cpp_out=$DST_DIR $SRC_DIR/xxx.proto

其中SRC_DIR是proto文件所在的目錄，DST_DIR是編譯proto文件后生成的結構體處理文件的目

運行：protoc --cpp_out=.  addressbook.proto  ；運行后生成了兩個文件：addressbook.pb.cc 和addressbook.pb.h。

（3）測試

   我們可以自己編寫函數：序列化（add_person.cc）/反序列化(list_people.cc)通過自動生成的接口實現

運行：make cpp;  行后生成了兩個文件：add_person_cpp  和list_people_cpp

運行：./add_person_cpp wq;會出現以下需要用戶輸入的信息，同時生成一個wq文件

Enter person ID number: 123456
Enter name: wq
Enter email address (blank for none): [e-mail]
Enter a phone number (or leave blank to finish): 12346789
Is this a mobile, home, or work phone? mobile
Enter a phone number (or leave blank to finish):回車

 

運行：./add_person_cpp wq;會出現以的信息

Person ID: 123456
  Name: wq
  E-mail address: [e-mail]
  Mobile phone #: [phone]

     可見只需要調用addressbook.pb.h中聲明的tutorial::AddressBook類、Person類中的接口（add_person(), add_phone(), set_number(), set_email()等）就能操作相應的參數，最后將內存中的參數序列化為文件只需要執行SerializeToOstream()，相應的讀取參數文件的操作為ParseFromIstream()。這樣以來可以不用自己編寫函數操作這些參數的函數，可以減少很多的工作量。