RocketMQ讀書筆記4——NameServer(MQ的協調者)

【NameServer簡述】

　　對於一個消息隊列集群來說，系統由很多機器組成，每個機器的角色、IP地址都不相同，而且這些信息是變動的（如在某些情況下，會有新的Producer或Consumer加入）。

　　NameServer的存在主要是為了解決這類問題，由NameServer維護這些配置信息、狀態信息，其他角色都通過NameServer來協同執行。

 

【NameServer的功能】

　　NameServer是整個消息隊列中的狀態服務器，集群的各個組件通過它來了解全局的信息。各個角色的機器要定時向NameServer上報自己的狀態，如果超時未上報，NameServer會認為某個機器出故障不可用了，其他的組件會把這個機器從可用列表中刪除。

　　NameServer可以部署多個，相互之間獨立，其他角色同時向多個NameServer上報狀態信息，從而達到熱備份的目的。NameServer本身是無狀態的，也就是說NameServer中的Broker、Topic等信息都不會持久化，都是由各個角色定時上報並存儲到內存中的（NameServer支持參數的持久化，一般用不到）。

 

【集群狀態的存儲結構】

在RouterInfoManager中，有5個變量，集群的狀態就保存在這5個變量中。

 /** * 存儲所有Topic的屬性信息 */
    private final HashMap<String/* topic */, List<QueueData>> topicQueueTable; /** * 存儲BrokerName對應的屬性信息 */
    private final HashMap<String/* brokerName */, BrokerData> brokerAddrTable; /** * 存儲集群的信息 */
    private final HashMap<String/* clusterName */, Set<String/* brokerName */>> clusterAddrTable; /** * 存儲Broker機器的實時狀態 */
    private final HashMap<String/* brokerAddr */, BrokerLiveInfo> brokerLiveTable; /** * 存儲過濾服務器信息 */
    private final HashMap<String/* brokerAddr */, List<String>/* Filter Server */> filterServerTable;

[ 1.topicQueueTable ] 

HashMap<String, List<QueueData>> topicQueueTable;

key：Topic的名稱。

value：List<QueueData>，是個QueueData的隊列，長度等於這個Topic數據存儲的MasterBroker的個數。

QueueData存儲着Broker的名稱，讀寫Queue的數量、同步標識等。

[ 2.brokerAddrTable ]

HashMap<String, BrokerData> brokerAddrTable;

key：BrokerName

value：BrokerData

以BrokerName為索引，相同名稱的Broker可能存在多台機器，一個Master和多個Slave。

這個存儲着一個BrokerName對應的屬性信息，包括所屬的Cluster名稱、一個Master Broker和多個Slave Broker對應的地址信息。

[ 3.clusterAddrTable ] 

final HashMap<String, Set<String>> clusterAddrTable;

key：cluster的名稱

value：Broker Name組成的集合。

即一個cluster名稱對應的一個BrokerName的集合。

[ 4.brokerLiveTable ]

HashMap<String, BrokerLiveInfo> brokerLiveTable;

key：Broker的地址，BrokerAddr。

value：BrokerLiveInfo

brokerLiveTable的結構的key是BrokerAddr，對應着一台機器。

BrokerAddrTable中的Key是BrokerName，多個機器的BrokerName可以相同。

brokerLiveTable中的BrokerLiverInfo中保存的是這台Broker機器的實時狀態。

如上次更新狀態的時間戳，NameServer會定時檢查這個時間戳，超時沒有更新就認為這個Broker無效了，將從Broker列表中去除。

[ 5.filterServerTable ]

HashMap<String, List<String>> filterServerTable;

key：BrokerAddr

value：FilterServer的地址列表。

Filter Server是過濾服務器，是RocketMQ的一種服務端過濾方式。

一個Broker可以有一個或多個FilterServer。

 

【 為什么不用Zookeeper 】

　　Zookeeper為分布式應用程序提供協調服務，Zookeeper的功能很強大，包括自動Master選舉，RocketMQ的設計決定了它不需要進行Master選舉，用不到這些復雜的功能，只需要一個輕量級的元數據服務器就足夠了。

　　中間件對穩定性要求很高，RocketMQ的NameServer只有很少的代碼，容易維護，所以不需要再依賴另一個中間件，從而減少整體維護成本。