一、RabbitMQ概念
RabbitMQ是流行的開源消息隊列系統,是AMQP(Advanced Message Queuing Protocol高級消息隊列協議)的標准實現,用erlang語言開發。RabbitMQ據說具有良好的性能和時效性,同時還能夠非常好的支持集群和負載部署,非常適合在較大規模的分布式系統中使用。
消息中間件的工作過程可以用生產者消費者模型來表示.即,生產者不斷的向消息隊列發送信息,而消費者從消息隊列中消費信息.具體過程如下:
從上圖可看出,對於消息隊列來說,生產者,消息隊列,消費者是最重要的三個概念,生產者發消息到消息隊列中去,消費者監聽指定的消息隊列,並且當消息隊列收到消息之后,接收消息隊列傳來的消息,並且給予相應的處理.消息隊列常用於分布式系統之間互相信息的傳遞.
Rabbit模式大概分為以下三種:單一模式、普通模式、鏡像模式
單一模式:最簡單的情況,非集群模式,即單實例服務。
普通模式:默認的集群模式。
queue創建之后,如果沒有其它policy,則queue就會按照普通模式集群。對於Queue來說,消息實體只存在於其中一個節點,A、B兩個節點僅有相同的元數據,即隊列結構,但隊列的元數據僅保存有一份,即創建該隊列的rabbitmq節點(A節點),當A節點宕機,你可以去其B節點查看,./rabbitmqctl list_queues 發現該隊列已經丟失,但聲明的exchange還存在。
當消息進入A節點的Queue中后,consumer從B節點拉取時,RabbitMQ會臨時在A、B間進行消息傳輸,把A中的消息實體取出並經過B發送給consumer。
所以consumer應盡量連接每一個節點,從中取消息。即對於同一個邏輯隊列,要在多個節點建立物理Queue。否則無論consumer連A或B,出口總在A,會產生瓶頸。
該模式存在一個問題就是當A節點故障后,B節點無法取到A節點中還未消費的消息實體。
如果做了消息持久化,那么得等A節點恢復,然后才可被消費;如果沒有持久化的話,隊列數據就丟失了。
鏡像模式:把需要的隊列做成鏡像隊列,存在於多個節點,屬於RabbitMQ的HA方案。
該模式解決了上述問題,其實質和普通模式不同之處在於,消息實體會主動在鏡像節點間同步,而不是在consumer取數據時臨時拉取。
該模式帶來的副作用也很明顯,除了降低系統性能外,如果鏡像隊列數量過多,加之大量的消息進入,集群內部的網絡帶寬將會被這種同步通訊大大消耗掉。
所以在對可靠性要求較高的場合中適用,一個隊列想做成鏡像隊列,需要先設置policy,然后客戶端創建隊列的時候,rabbitmq集群根據“隊列名稱”自動設置是普通集群模式或鏡像隊列。具體如下:
隊列通過策略來使能鏡像。策略能在任何時刻改變,rabbitmq隊列也近可能的將隊列隨着策略變化而變化;非鏡像隊列和鏡像隊列之間是有區別的,前者缺乏額外的鏡像基礎設施,沒有任何slave,因此會運行得更快。
為了使隊列稱為鏡像隊列,你將會創建一個策略來匹配隊列,設置策略有兩個鍵“ha-mode和 ha-params(可選)”。
了解集群中的基本概念:
RabbitMQ的集群節點包括內存節點、磁盤節點。顧名思義內存節點就是將所有數據放在內存,磁盤節點將數據放在磁盤。不過,如前文所述,如果在投遞消息時,打開了消息的持久化,那么即使是內存節點,數據還是安全的放在磁盤。
一個rabbitmq集群中可以共享user,vhost,queue,exchange等,所有的數據和狀態都是必須在所有節點上復制的,一個例外是,那些當前只屬於創建它的節點的消息隊列,盡管它們可見且可被所有節點讀取。rabbitmq節點可以動態的加入到集群中,一個節點它可以加入到集群中,也可以從集群環集群會進行一個基本的負載均衡。
集群中有兩種節點:
1 內存節點:只保存狀態到內存(一個例外的情況是:持久的queue的持久內容將被保存到disk)
2 磁盤節點:保存狀態到內存和磁盤。
內存節點雖然不寫入磁盤,但是它執行比磁盤節點要好。集群中,只需要一個磁盤節點來保存狀態就足夠了如果集群中只有內存節點,那么不能停止它們,否則所有的狀態,消息等都會丟失。
RabitMQ的工作流程
對於RabbitMQ來說,除了這三個基本模塊以外,還添加了一個模塊,即交換機(Exchange).它使得生產者和消息隊列之間產生了隔離,生產者將消息發送給交換機,而交換機則根據調度策略把相應的消息轉發給對應的消息隊列.那么RabitMQ的工作流程如下所示:
交換機的主要作用是接收相應的消息並且綁定到指定的隊列.交換機有四種類型,分別為Direct,topic,headers,Fanout.
1).Direct是RabbitMQ默認的交換機模式,也是最簡單的模式.即創建消息隊列的時候,指定一個BindingKey.當發送者發送消息的時候,指定對應的Key.當Key和消息隊列的BindingKey一致的時候,消息將會被發送到該消息隊列中.
2).topic轉發信息主要是依據通配符,隊列和交換機的綁定主要是依據一種模式(通配符+字符串),而當發送消息的時候,只有指定的Key和該模式相匹配的時候,消息才會被發送到該消息隊列中.
3).headers也是根據一個規則進行匹配,在消息隊列和交換機綁定的時候會指定一組鍵值對規則,而發送消息的時候也會指定一組鍵值對規則,當兩組鍵值對規則相匹配的時候,消息會被發送到匹配的消息隊列中.
4).Fanout是路由廣播的形式,將會把消息發給綁定它的全部隊列,即便設置了key,也會被忽略.
二、RabbitMQ的安裝
1.ubuntu16.04中安裝RabbitMQ
1).首先必須要有Erlang環境支持
安裝之前要裝一些必要的庫:
# sudo apt-get install build-essential
# sudo apt-get install libncurses5-dev
# sudo apt-get install libssl-dev
# sudo apt-get install m4
# sudo apt-get install unixodbc unixodbc-dev
# sudo apt-get install freeglut3-dev libwxgtk2.8-dev
# sudo apt-get install xsltproc
# sudo apt-get install fop
# sudo apt-get install tk8.5
安裝好之后運行:
# sudo apt-get install erlang
完成后在控制台輸入命令:
erl
可以查看erlang安裝版本情況
2).安裝RabbitMQ(可以用兩種方式)
自動安裝
# sudo apt-get install rabbitmq-server
如果沒有問題,那就直接安裝了,不用設置什么東西
查看運行狀態
# service rabbitmq-server status
手動安裝
1).首先創建一個文件夾用來下載RabbitMQ
# mkdir rabbitmqsoft
# cd rabbitmqsoft
2).獲取安裝包(這里選擇2.7.0 unix版本)
# wget http://www.rabbitmq.com/releases/rabbitmq-server/v2.7.0/rabbitmq-server-generic-unix-2.7.0.tar.gz
--解壓
# tar -zxvf rabbitmq-server-generic-unix-2.7.0.tar.gz
# cd rabbitmq_server-2.7.0/
3).運行
# sbin/rabbitmq-server
4).查看運行狀態(打開另外一個終端)
# cd ~/rabbitmqsoft/rabbitmq_server-2.7.0/
# sbin/rabbitmqctl status
到底為止,Ubuntu系統下安裝RabbitMQ就完成了
1.centos7中安裝RabbitMQ
1).首先需要安裝erlang
#rpm -Uvh http://download.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-8.noarch.rpm
#yum install erlang
安裝過程中會有提示,一路輸入“y”即可。
2).完成后安裝RabbitMQ:
先下載rpm:
#wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.6/rabbitmq-server-3.6.6-1.el7.noarch.rpm
下載完成后安裝:
#yum install rabbitmq-server-3.6.6-1.el7.noarch.rpm
完成后啟動服務:
#service rabbitmq-server start
可以查看服務狀態:
#service rabbitmq-server status
三、RabbitMQ的配置
1.修改配置文件
通過查看服務狀態:
#service rabbitmq-server status
這里可以看到log文件的位置,轉到文件位置,打開文件:
這里顯示的是沒有找到配置文件,我們可以自己創建這個文件
#cd /etc/rabbitmq/
#vim rabbitmq.config
編輯內容如下:
[{rabbit, [{loopback_users, []}]}].
這里的意思是開放使用,rabbitmq默認創建的用戶guest,密碼也是guest,這個用戶默認只能是本機訪問,localhost或者127.0.0.1,從外部訪問需要添加上面的配置。
保存配置后重啟服務:
#service rabbitmq-server stop
#service rabbitmq-server start
2.安裝插件
#/sbin/rabbitmq-plugins enable rabbitmq_management
重啟rabbitmq服務
#service rabbitmq-server restart
到此,就可以通過http://ip:15672 使用guest,guest 進行登陸web頁面了
四、RabbitMQ用戶角色及權限控制
1.RabbitMQ的用戶角色分類:
none、management、policymaker、monitoring、administrator
2.RabbitMQ各類角色描述:
none
不能訪問 management plugin
management
用戶可以通過AMQP做的任何事外加:
列出自己可以通過AMQP登入的virtual hosts
查看自己的virtual hosts中的queues, exchanges 和 bindings
查看和關閉自己的channels 和 connections
查看有關自己的virtual hosts的“全局”的統計信息,包含其他用戶在這些virtual hosts中的活動。
policymaker
management可以做的任何事外加:
查看、創建和刪除自己的virtual hosts所屬的policies和parameters
monitoring
management可以做的任何事外加:
列出所有virtual hosts,包括他們不能登錄的virtual hosts
查看其他用戶的connections和channels
查看節點級別的數據如clustering和memory使用情況
查看真正的關於所有virtual hosts的全局的統計信息
administrator
policymaker和monitoring可以做的任何事外加:
創建和刪除virtual hosts
查看、創建和刪除users
查看創建和刪除permissions
關閉其他用戶的connections
3.創建用戶並設置角色:
可以創建管理員用戶,負責整個MQ的運維,例如:
$sudo rabbitmqctl add_user user_admin passwd_admin
賦予其administrator角色:
$sudo rabbitmqctl set_user_tags user_admin administrator
可以創建RabbitMQ監控用戶,負責整個MQ的監控,例如:
$sudo rabbitmqctl add_user user_monitoring passwd_monitor
賦予其monitoring角色:
$sudo rabbitmqctl set_user_tags user_monitoring monitoring
可以創建某個項目的專用用戶,只能訪問項目自己的virtual hosts
$sudo rabbitmqctl add_user user_proj passwd_proj
賦予其monitoring角色:
$sudo rabbitmqctl set_user_tags user_proj management
創建和賦角色完成后查看並確認:
$sudo rabbitmqctl list_users
4.RabbitMQ權限控制
默認virtual host:"/"
默認用戶:guest
guest具有"/"上的全部權限,僅能有localhost訪問RabbitMQ包括Plugin,建議刪除或更改密碼。可通過將配置文件中loopback_users置孔來取消其本地訪問的限制:
[{rabbit, [{loopback_users, []}]}]
用戶僅能對其所能訪問的virtual hosts中的資源進行操作。這里的資源指的是virtual hosts中的exchanges、queues等,操作包括對資源進行配置、寫、讀。配置權限可創建、刪除、資源並修改資源的行為,寫權限可向資源發送消息,讀權限從資源獲取消息。比如:
exchange和queue的declare與delete分別需要exchange和queue上的配置權限
exchange的bind與unbind需要exchange的讀寫權限
queue的bind與unbind需要queue寫權限exchange的讀權限
發消息(publish)需exchange的寫權限
獲取或清除(get、consume、purge)消息需queue的讀權限
對何種資源具有配置、寫、讀的權限通過正則表達式來匹配,具體命令如下:
set_permissions [-p <vhostpath>] <user> <conf> <write> <read>
其中,<conf> <write> <read>的位置分別用正則表達式來匹配特定的資源,如'^(amq\.gen.*|amq\.default)$'可以匹配server生成的和默認的exchange,'^$'不匹配任何資源
需要注意的是RabbitMQ會緩存每個connection或channel的權限驗證結果、因此權限發生變化后需要重連才能生效。
為用戶賦權:
$sudo rabbitmqctl set_permissions -p /vhost1 user_admin '.*' '.*' '.*'
該命令使用戶user_admin具有/vhost1這個virtual host中所有資源的配置、寫、讀權限以便管理其中的資源
查看權限:
$sudo rabbitmqctl list_user_permissions user_admin
Listing permissions for user "user_admin" ...
/vhost1<span style="white-space:pre"> </span>.*<span style="white-space:pre"> </span>.*<span style="white-space:pre"> </span>.*
$sudo rabbitmqctl list_permissions -p /vhost1
Listing permissions in vhost "/vhost1" ...
user_admin<span style="white-space:pre"> </span>.*<span style="white-space:pre"> </span>.*<span style="white-space:pre"> </span>.*