protobuf + maven 爬坑記

瘋狂創客圈 死磕Netty 億級流量架構系列之20

【博客園 總入口 】

本文說明

本篇是 netty+Protobuf 整合實戰的 第一篇，完成一個 基於Netty + Protobuf 實戰案例。

要實現高並發、大流量，首先需要高傳輸效率的協議，Protobuf 是迄今為止最高性能之一的傳輸格式，我們首先將 Protobuf 和Netty整合起來。

順便說明下：
本文的內容只是一個初稿、初稿，本文的知識，在《Netty Zookeeper Redis 高並發實戰》一書時，進行大篇幅的完善和更新，並且進行的源碼的升級。 博客和書不一樣，書的內容更加系統化、全面化，更加層層升入、層次分明、更多次的錯誤排查，請大家以書的內容為准。
本文的最終內容， 具體請參考瘋狂創客圈 傾力編著，機械工業出版社出版的 《Netty Zookeeper Redis 高並發實戰》一書 。
​

本案例源代碼

源代碼下載鏈接： netty+protobuf （整合源代碼）

1.1. protobuf 代碼生成

在創建好.proto協議**文件之后，就需要按照好了對應版本的 protoc.exe工具。 protoc.exe工具是生成Java文件的工具軟件。 安裝的方法，前面已經講了。

這里需要提示一下版本。Java 的maven 配置文件中 proto 包的版本，和 .proto文件的版本， 以及生成java 代碼的protoc.exe的版本，三者需要一致。

1.1.1. 使用命令生成

下面開始生成 消息的 Java代碼。 需要用到下面的指令：

protoc.exe --java_out=輸出的Java文件路徑名稱 .proto文件路徑名稱

例如：

protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

輸入完之后，回車即可在目標目錄看到已經生成好的Java文件，然后將該文件放到項目中該文件指定的路徑下即可。

本案例的工程中，以及給大家准備好了.bat windows 的命令文件，在 .bat 目錄 下執行.bat 文件即可。 .bat 文件如下：

d:
cd D:\crazymakercircleJava\nettydemo\chatcommon
protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

使用的時候，注意調整為實際的目錄。

1.1.2. 命令生成代碼的兩個大坑

1.1.2.1. 大坑一：可勁兒提示沒有協議版本

使用protoc.exe指令生成java代碼時，提示沒有設置協議版本。錯誤如下：

D:\crazymakercircleJava\nettydemo\chatcommon>protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

[libprotobuf WARNING T:\src\github\protobuf\src\google\protobuf\compiler\parser.cc:562] No syntax specified for the proto file: proto/ProtoMsg.proto. Please use 'syntax = "proto2";' or 'syntax = "proto3";' to specify a syntax version. (Defaulted to proto2 syntax.)

實際上，協議版本是已經設置好了的。

1.1.2.2. 大坑二： 沒有生成Java代碼

通過切換到老的protobuf代碼生成器版本，比方說2.6.1 ，這時候，會沒有錯誤提示了。

但是，新的問題來了，在代碼生成的目標目錄下，就是看不到生成Java代碼。說明代碼還是沒有生成成功。

爬出這兩個大坑，會浪費大量的時間。

1.1.3. 使用Maven插件生成Java代碼

其實，天無絕人之路。

一條更好的路等着你來。這就是maven插件。

使用protobuf-maven-plugin，可以非常方便的生成Java代碼。

插件的配置如下：

<plugin>
    <groupId>org.xolstice.maven.plugins</groupId>
    <artifactId>protobuf-maven-plugin</artifactId>
    <version>0.5.0</version>
    <extensions>true</extensions>
    <configuration>
        <!--默認值-->
        <protoSourceRoot>${project.basedir}/proto/protoConfig</protoSourceRoot>
        <!--默認值-->
        <!--<outputDirectory>${project.build.directory}/generated-sources/protobuf/java</outputDirectory>-->
        <outputDirectory>${project.build.sourceDirectory}</outputDirectory>
        <!--設置是否在生成java文件之前清空outputDirectory的文件，默認值為true，設置為false時也會覆蓋同名文件-->
        <clearOutputDirectory>false</clearOutputDirectory>
        <!--默認值-->
        <temporaryProtoFileDirectory>${project.build.directory}/protoc-temp</temporaryProtoFileDirectory>
              <protocExecutable>${project.basedir}/proto/protobin/protoc3.6.1.exe</protocExecutable>
    </configuration>
    <executions>
        <execution>
            <goals>
                <goal>compile</goal>
                <goal>test-compile</goal>
            </goals>
        </execution>
    </executions>
</plugin>

插件的配置項中，需要配置的內容如下：

（1）protoSourceRoot ： protobuf 協議文件的路徑

（2）outputDirectory ：java 文件的目標路徑

（3）protocExecutable ： protobuf 代碼生成工具的路徑

配置好之后，執行插件的compile命令， Java代碼就利索的生成了。

---

瘋狂創客圈 分布式實戰社群

• 億級流量 高並發 IM后台 開源項目實戰

• Netty 源碼、原理、JAVA NIO 原理

• Java 面試題 一網打盡

• 瘋狂創客圈 【 博客園 總入口 】

---