Jedis使用管道優化批量輸出插入的效率

Jedis連接池：

package com.daxin.jedis_datastructure;

/** 
 * 
 * @author  daxin 
 * 
 * @email leodaxin@163com
 * 
 * @date 2017年9月4日 上午10:29:00
 * 
 */
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;

public class RedisUtils {

    // Redis服務器IP
    private static String ADDR = "node";
    // Redis的端口號
    private static int PORT = 6379;
    // 可用連接實例的最大數目，默認值為8；
    // 如果賦值為-1，則表示不限制；如果pool已經分配了maxActive個jedis實例，則此時pool的狀態為exhausted(耗盡)。
    private static int MAX_ACTIVE = 16;
    // 控制一個pool最多有多少個狀態為idle(空閑的)的jedis實例，默認值也是8。
    private static int MAX_IDLE = 6;
    // 等待可用連接的最大時間，單位毫秒，默認值為-1，表示永不超時。如果超過等待時間，則直接拋出JedisConnectionException；
    private static int MAX_WAIT = 10000;

    // 在borrow一個jedis實例時，是否提前進行validate操作；如果為true，則得到的jedis實例均是可用的；
    private static boolean TEST_ON_BORROW = true;
    private static JedisPool jedisPool = null;
    /**
     * 初始化Redis連接池
     */
    static {
        try {
            JedisPoolConfig config = new JedisPoolConfig();
            config.setMaxTotal(MAX_ACTIVE);
            config.setMaxIdle(MAX_IDLE);
            config.setMaxWaitMillis(MAX_WAIT);
            config.setTestOnBorrow(TEST_ON_BORROW);
            jedisPool = new JedisPool(config, ADDR, PORT);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * 獲取Jedis實例
     * 
     * @return
     */
    public synchronized static Jedis getJedis() {
        try {
            if (jedisPool != null) {
                Jedis resource = jedisPool.getResource();
                return resource;
            } else {
                return null;
            }
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
    }
}

通道技術批量插入數據和普通插入效率對比：

package com.daxin.jedis_datastructure;

import java.util.List;
import java.util.UUID;

import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.Pipeline;
import redis.clients.jedis.Response;

/**
 * 
 * @author daxin
 * 
 * @email leodaxin@163com
 * 
 * @date 2017年9月13日 下午1:34:44
 * 
 *       2291 129072
 * 
 */
public class JedisPip {

    Jedis jedis = null;

    @Before
    public void before() {
        jedis = RedisUtils.getJedis();
        jedis.flushDB();
    }

    @After
    public void after() {
        jedis.close();
    }

    @Test
    public void pipe_jedis() {
        Pipeline pip = jedis.pipelined();

        long start = System.currentTimeMillis();
        for (int i = 0; i < 100000; i++) {
            pip.set(UUID.randomUUID().toString(), UUID.randomUUID().toString());
        }
        pip.sync();// 同步獲取所有的回應

        System.out.println(System.currentTimeMillis() - start);
        start = System.currentTimeMillis();
        for (int i = 0; i < 100000; i++) {
            jedis.set(UUID.randomUUID().toString(), UUID.randomUUID().toString());
        }
        System.out.println(System.currentTimeMillis() - start);
    }

}

輸出時間分別是：

2291
129072

可以看到使用通道技術插入有較高的效率。產生差距的原因：

Redis 管道技術

Redis是一種基於客戶端-服務端模型以及請求/響應協議的TCP服務。這意味着通常情況下一個請求會遵循以下步驟：

• 客戶端向服務端發送一個查詢請求，並監聽Socket返回，通常是以阻塞模式，等待服務端響應。
• 服務端處理命令，並將結果返回給客戶端。

Redis 管道技術可以在服務端未響應時，客戶端可以繼續向服務端發送請求，並最終一次性讀取所有服務端的響應。

管道技術的優勢

管道技術最顯著的優勢是提高了 redis 服務的性能。

 

 

 

使用管道技術獲取結果：

@Test
    public void pipe_get() {

        Pipeline pip = jedis.pipelined();
        pip.multi();
        for (int i = 0; i < 100000; i++) {
            pip.set(i + "", UUID.randomUUID().toString());
        }

        Response<List<Object>> r = pip.exec();
        pip.multi();
        for (int i = 0; i < 100000; i++) {
            pip.get("" + i);
        }

        r = pip.exec();
        pip.sync();// 調用syn會關閉管道，所以在調用syn之后就不可以在使用管道了
        System.out.println(r.get().get(0));
        System.out.println(r.get().size());

    }