Net分布式系統之四:RabbitMQ消息隊列應用


   消息通信組件Net分布式系統的核心中間件之一,應用與系統高並發,各個組件之間解耦的依賴的場景。本框架采用消息隊列中間件主要應用於兩方面:一是解決部分高並發的業務處理;二是通過消息隊列傳輸系統日志。目前業界使用較多的消息隊列組件有RabbitMQ、ActiveMQ、MSMQ、kafka、zeroMQ等,本文對系統架構之MQ Component詮釋,並采用RabbitMQ作為消息隊列中間件。

 

圖1- 消息隊列組件示意圖


 

 

一、RabbitMQ介紹

  RabbitMQ是一款基於AMQP(消息隊列協議),由Erlang開發的開源消息隊列組件。是一款優秀的消息隊列組件,他由兩部分組成:服務端和客戶端,客戶端支持多種語言的驅動,如:.Net、JAVA、Erlang等。RabbitMQ與其他消息隊列組件性能比較,在此不作介紹,網上有大把的資料。


 

二、RabbitMQ原理簡介

 

圖2- RabbitMQ結構示意圖

  RabbitMQ中間件分為服務端(RabbitMQ Server)和客戶端(RabbitMQ Client),服務端可以理解為是一個消息的代理消費者,客戶端又分為消息生產者(Producer)和消息消費者(Consumer)。

  1、消息生產者(Producer):主要生產消息並將消息基於TCP協議,通過建立Connection和Channel,將消息傳輸給RabbitMQ Server,對於Producer而言基本就完成了工作。

  2、服務端(RabbitMQ Server):主要負責處理消息路由、分發、入隊列、緩存和出列。主要由三部分組成:Exchange、RoutingKey、Queue。

    (1)Exchange:用於接收消息生產者發送的消息,有三種類型的exchange:direct, fanout,topic,不同類型實現了不同的路由算法;

    A. direct exchange:將與routing key 比配的消息,直接推入相對應的隊列,創建隊列時,默認就創建同名的routing key。

    B. fanout exchange:是一種廣播模式,忽略routingkey的規則。

    C. topic exchange:應用主題,根據key進行模式匹配路由,例如:若為abc*則推入到所有abc*相對應的queue;若為abc.#則推入到abc.xx.one ,abc.yy.two對應的queue。

    (2)RoutingKey:是RabbitMQ實現路由分發到各個隊列的規則,並結合Binging提供於Exchange使用將消息推送入隊列;

    (3)Queue:是消息隊列,可以根據需要定義多個隊列,設置隊列的屬性,比如:消息移除、消息緩存、回調機制等設置,實現與Consumer通信;

  3、消息消費者(Consumer):主要負責消費Queue的消息,同樣基於TCP協議,通過建立Connection和Channel與Queue傳輸消息,一個消息可以給多個Consumer消費;

  4、關鍵名詞說明:Connection、Channel、Binging等;

    (1)Connection:是建立客戶端與服務端的連接。

    (2)Channel:是基於Connection之上建立通信通道,因為每次Connection建立TCP協議通信開銷及性能消耗較大,所以一次建立Connection后,使用多個Channel通道通信減少開銷和提高性能。

    (3)Binging:是一個捆綁定義,將exchange和queue捆綁,定義routingkey相關策略。


 

三、RabbitMQ安裝部署

   以上對RabbitMQ簡介,接下來我們通過實際搭建消息隊列服務實踐。RabbitMQ服務端能運行於Window、Linux和Mac平台,客戶端也支持多種技術的實現。本次我們將在Linux之CentOS7平台搭建。

  1、安裝Erlang運行環境

    由於RabbitMQ使用Erlang技術開發,所以需要先安裝Erlang運行環境后,才能安裝消息隊列服務。

    (1)配置系統能正常訪問公網,設置默認網關

route add default gw 192.168.1.1

    (2)安裝erlang

su -c 'rpm -Uvh http://download.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm'
sudo yum install erlang

    (3)檢查erlang是否安裝成功

erl

    (4)安裝成功

    

 

  2、安裝RabbitMQ服務端

    (1)下載安裝包

wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.0/rabbitmq-server-3.6.0-1.noarch.rpm

    (2)安裝和配置RabbitMQ服務端,3.6.0版本:

rpm --import https://www.rabbitmq.com/rabbitmq-signing-key-public.asc
yum install rabbitmq-server-3.6.0-1.noarch.rpm

    (3)啟用web管理插件

rabbitmq-plugins enable rabbitmq_management

    (4)啟動RabbitMQ

chkconfig rabbitmq-server on
/sbin/service rabbitmq-server start

    (5)防火牆開通端口

# firewall-cmd --permanent --zone=public --add-port=5672/tcp
# firewall-cmd --permanent --zone=public --add-port=15672/tcp
# firewall-cmd --reload

    (6)rabbitmq默認會創建guest賬號,只能用於localhost登錄頁面管理員,本機訪問地址:http://localhost:15672/

rabbitmqctl add_user test test
rabbitmqctl set_user_tags test administrator
rabbitmqctl set_permissions -p / test ".*" ".*" ".*"

      RabbitMQ 管理員頁面。

 

 


 

四、RabbitMQ應用

   本章節描述,web應用生產的日志,通過rabbitmq傳輸,然后日志服務接收消息隊列的消息。

    

圖3- 功能結構示意圖

  本系統采用官方的Client,通過nuget引用。

  

 

   1、Web應用生產業務日志

[HttpPost]
        public ActionResult Create()
        {
            this.HttpContext.Session["mysession"] = DateTime.Now.ToString("yyyy-MM-dd hh:mm:ss");
            var txt = Request.Form["txtSite"].ToString();
            RabbitMQHelper helper = new RabbitMQHelper();
            helper.SendMsg(txt + ",操作日志,時間:" + DateTime.Now.ToString("yyyy-MM-dd hh:mm:ss"));

            return RedirectToAction("Index");
        }

  頁面效果圖。

 

  2、日志服務接收日志消息

     基於window form開發一個日志處理服務,並將接收的消息打印出來。

private void btnReceive_Click(object sender, EventArgs e)
        {
            isConnected = true;
            using (var channel = connection.CreateModel())
            {
                channel.QueueDeclare("MyLog", false, false, false, null);

                var consumer = new QueueingBasicConsumer(channel);
                channel.BasicConsume("MyLog", true, consumer);

                while (isConnected)
                {
                    var ea = (BasicDeliverEventArgs)consumer.Queue.Dequeue();

                    var body = ea.Body;
                    var message = Encoding.UTF8.GetString(body);
                    txtMsg.Text += message + "\r\n";

                }
            }
        }

  

 

   3、RabbitMQ頁面監控情況

   RabbitMQ自帶頁面監控工具,通過此工具可以監控MQ的情況:

         

 

五、總結

  此文大概介紹RabbitMQ搭建和應用於本系統,RabbitMQ還是較為簡單,還提供界面監控工具方便運維人員監控。 

 

作者:andon
出處: http://www.cnblogs.com/Andon_liu
關於作者:專注於微軟平台項目架構、管理。熟悉設計模式、領域驅動、架構設計、敏捷開發和項目管理。現主要從事ASP.NET MVC、WCF/Web API、SOA、MSSQL、redis方面的項目開發、架構、管理工作。 如有問題或建議,請一起學習討論!
本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接。
如有問題,可以郵件:568773262@qq.com 聯系我,謝謝。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM