RabbitMQ六種隊列模式-工作隊列模式


前言

RabbitMQ六種隊列模式-簡單隊列
RabbitMQ六種隊列模式-工作隊列 [本文]
RabbitMQ六種隊列模式-發布訂閱
RabbitMQ六種隊列模式-路由模式
RabbitMQ六種隊列模式-主題模式

上文我們了解了 RabbitMQ 六種隊列模式中的簡單隊列,代碼也是非常的簡單,比較容易理解。

但是簡單隊列有個缺點,簡單隊列是一一對應的關系,即點對點,一個生產者對應一個消費者,按照這個邏輯,如果我們有一些比較耗時的任務,也就意味着需要大量的時間才能處理完畢,顯然簡單隊列模式並不能滿足我們的工作需求,我們今天再來看看工作隊列。

文章目錄

1. 什么是工作隊列2. 代碼部分2.1 生產者2.2 消費者3. 循環分發3.1 啟動生產者3.2 啟動兩個消費者3.3 公平分發4. 消息持久化4.1 問題背景4.2 參數配置5. 工作隊列總結

1. 什么是工作隊列

工作隊列:用來將耗時的任務分發給多個消費者(工作者)

主要解決問題:處理資源密集型任務,並且還要等他完成。有了工作隊列,我們就可以將具體的工作放到后面去做,將工作封裝為一個消息,發送到隊列中,一個工作進程就可以取出消息並完成工作。如果啟動了多個工作進程,那么工作就可以在多個進程間共享。

工作隊列也稱為公平性隊列模式,怎么個說法呢?

循環分發,假如我們擁有兩個消費者,默認情況下,RabbitMQ 將按順序將每條消息發送給下一個消費者,平均而言,每個消費者將獲得相同數量的消息,這種分發消息的方式稱為輪詢。

看代碼吧。

2. 代碼部分

2.1 生產者

創建50個消息

public class Producer2 {

    /** 隊列名稱 */
    private static final String QUEUE_NAME = "test_queue";

    public static void main(String[] args) throws IOException, TimeoutException {
        /** 1.獲取連接 */
        Connection newConnection = MQConnectionUtils.newConnection();
         /** 2.創建通道 */
        Channel channel = newConnection.createChannel();
         /**3.創建隊列聲明 */
        channel.queueDeclare(QUEUE_NAME, falsefalsefalsenull);
         /**保證一次只分發一次 限制發送給同一個消費者 不得超過一條消息 */
        channel.basicQos(1);
        for (int i = 1; i <= 50; i++) {
            String msg = "生產者消息_" + i;
            System.out.println("生產者發送消息:" + msg);
         /**4.發送消息 */
            channel.basicPublish("", QUEUE_NAME, null, msg.getBytes());
        }
        channel.close();
        newConnection.close();
    }

}

2.2 消費者

public class Customer2_1 {

    /**
     * 隊列名稱
     */

    private static final String QUEUE_NAME = "test_queue";

    public static void main(String[] args) throws IOException, TimeoutException {
        System.out.println("001");
        /** 1.獲取連接 */
        Connection newConnection = MQConnectionUtils.newConnection();
        /** 2.獲取通道 */
        final Channel channel = newConnection.createChannel();
        channel.queueDeclare(QUEUE_NAME, falsefalsefalsenull);
        /** 保證一次只分發一次 限制發送給同一個消費者 不得超過一條消息 */
        channel.basicQos(1);
        DefaultConsumer defaultConsumer = new DefaultConsumer(channel) {
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body)
                    throws IOException 
{
                String msgString = new String(body, "UTF-8");
                System.out.println("消費者獲取消息:" + msgString);
                try {
                    Thread.sleep(1000);
                } catch (Exception e) {

                } finally {
                    /** 手動回執消息 */
                    channel.basicAck(envelope.getDeliveryTag(), false);
                }
            }
        };
        /** 3.監聽隊列 */
        channel.basicConsume(QUEUE_NAME, false, defaultConsumer);
    }

}

3. 循環分發

3.1 啟動生產者

3.2 啟動兩個消費者

在生產者中我們發送了50條消息進入隊列,而上方消費者啟動圖里很明顯的看到輪詢的效果,就是每個消費者會分到相同的隊列任務。

3.3 公平分發

由於上方模擬的是非常簡單的消息隊列的消費,假如有一些非常耗時的任務,某個消費者在緩慢地進行處理,而另一個消費者則空閑,顯然是非常消耗資源的。

再舉一個例子,一個1年的程序員,跟一個3年的程序員,分配相同的任務量,明顯3年的程序員處理起來更加得心應手,很快就無所事事了,但是3年的程序員拿着非常高的薪資!顯然3年的程序員應該承擔更多的責任,那怎么辦呢?

公平分發。

其實發生上述問題的原因是 RabbitMQ 收到消息后就立即分發出去,而沒有確認各個工作者未返回確認的消息數量,類似於TCP/UDP中的UDP,面向無連接。

因此我們可以使用 basicQos 方法,並將參數 prefetchCount 設為1,告訴 RabbitMQ 我每次值處理一條消息,你要等我處理完了再分給我下一個。這樣 RabbitMQ 就不會輪流分發了,而是尋找空閑的工作者進行分發。

關鍵性代碼:

/** 2.獲取通道 */
final Channel channel = newConnection.createChannel();
channel.queueDeclare(QUEUE_NAME, falsefalsefalsenull);
/** 保證一次只分發一次 限制發送給同一個消費者 不得超過一條消息 */
channel.basicQos(1);

4. 消息持久化

4.1 問題背景

上邊我們提到的公平分發是由消費者收取消息時確認解決的,但是這里面又會出現被 kill 的情況。

當有多個消費者同時收取消息,且每個消費者在接收消息的同時,還要處理其它的事情,且會消耗很長的時間。在此過程中可能會出現一些意外,比如消息接收到一半的時候,一個消費者死掉了。

這種情況要使用消息接收確認機制,可以執行上次宕機的消費者沒有完成的事情。

但是在默認情況下,我們程序創建的消息隊列以及存放在隊列里面的消息,都是非持久化的。當RabbitMQ死掉了或者重啟了,上次創建的隊列、消息都不會保存。

怎么辦呢?

4.2 參數配置

參數配置一:生產者創建隊列聲明時,修改第二個參數為 true

/**3.創建隊列聲明 */
channel.queueDeclare(QUEUE_NAME, truefalsefalsenull);

參數配置二:生產者發送消息時,修改第三個參數為MessageProperties.PERSISTENT_TEXT_PLAIN

for (int i = 1; i <= 50; i++) {
    String msg = "生產者消息_" + i;
    System.out.println("生產者發送消息:" + msg);
    /**4.發送消息 */
    channel.basicPublish("", QUEUE_NAME, MessageProperties.PERSISTENT_TEXT_PLAIN, msg.getBytes());
}

5. 工作隊列總結

1、循環分發:消費者端在信道上打開消息應答機制,並確保能返回接收消息的確認信息,這樣可以保證消費者發生故障也不會丟失消息。

2、消息持久化:服務器端和客戶端都要指定隊列的持久化和消息的持久化,這樣可以保證RabbitMQ重啟,隊列和消息也不會丟失。

3、公平分發:指定消費者接收的消息個數,避免出現消息均勻推送出現的資源不合理利用的問題。

案例代碼:https://www.lanzous.com/i5ydu6d

18年專科畢業后,期間一度迷茫,最近我創建了一個公眾號用來記錄自己的成長。 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM