基於內存和 Redis 的兩級 Java 緩存框架

Java 兩級緩存框架，可以讓應用支持兩級緩存框架 ehcache(Caffeine) + redis 。避免完全使用獨立緩存系統所帶來的網絡IO開銷問題

基於內存和 Redis 的兩級 Java 緩存框架

J2Cache  第一級緩存使用內存(同時支持 Ehcache 2.x、Ehcache 3.x 和 Caffeine)，第二級緩存使用 Redis(推薦)/Memcached 。由於大量的緩存讀取會導致 L2 的網絡成為整個系統的瓶頸，因此 L1 的目標是降低對 L2 的讀取次數。該緩存框架主要用於集群環境中。單機也可使用，用於避免應用重啟導致的緩存冷啟動后對后端業務的沖擊。

J2Cache 的兩級緩存結構

L1：進程內緩存(caffeine\ehcache)  
L2：Redis/Memcached 集中式緩存

數據讀取

1. 讀取順序  -> L1 -> L2 -> DB

2. 數據更新

   1 從數據庫中讀取最新數據，依次更新 L1 -> L2 ，發送廣播清除某個緩存信息  
   2 接收到廣播（手工清除緩存 & 一級緩存自動失效），從 L1 中清除指定的緩存信息

J2Cache 配置

配置文件位於 core/resources 目錄下，包含三個文件：

• j2cache.properties J2Cache 核心配置文件，可配置兩級的緩存，Redis 服務器、連接池以及緩存廣播的方式

• caffeine.properties  如果一級緩存選用 Caffeine ，那么該文件用來配置緩存信息

• ehcache.xml Ehcache 的配置文件，配置說明請參考 Ehcache 文檔

• ehcache3.xml Ehcache3 的配置文件，配置說明請參考 Ehcache 文檔

• network.xml JGroups 網絡配置，如果使用 JGroups 組播的話需要這個文件，一般無需修改

實際使用過程需要將所需的配置文件復制到應用類路徑中，如 WEB-INF/classes 目錄。

J2Cache 運行時所需 jar 包請查看 core/pom.xml

測試方法

1. 安裝 Redis  

2. git clone https://gitee.com/ld/J2Cache

3. 修改 core/resource/j2cache.properties 配置使用已安裝的 Redis 服務器

4. 在命令行中執行 mvn package -DskipTests=true 進行項目編譯

5. 打開多個命令行窗口，同時運行 runtest.sh

6. 在 > 提示符后輸入 help 查看命令，並進行測試

使用方法

J2Cache 默認使用 Caffeine 作為一級緩存，使用 Redis 作為二級緩存。你還可以選擇 Ehcache2 和 Ehcache3 作為一級緩存。

准備工作

1. 安裝 Redis

2. 新建一個基於 Maven 的 Java 項目

一. 引用 Maven

<dependency>
  <groupId>net.oschina.j2cache</groupId>  
  <artifactId>j2cache-core</artifactId>  
  <version>xxxxx</version>  
</dependency>

二. 准備配置

拷貝 j2cache.properties 和 caffeine.properties 到你項目的源碼目錄，並確保這些文件會被編譯到項目的 classpath 中。如果你選擇了 ehcache 作為一級緩存，需要拷貝ehcache.xml 或者 ehcache3.xml 到源碼目錄（后者對應的是 Ehcache 3.x 版本），這些配置文件的模板可以從 https://gitee.com/ld/J2Cache/tree/master/core/resources 這里獲取。

使用你喜歡的文本編輯器打開 j2cache.properties 並找到 redis.hosts 項，將其信息改成你的 Redis 服務器所在的地址和端口。

我們建議緩存在使用之前都需要預先設定好緩存大小及有效時間，使用文本編輯器打開 caffeine.properties 進行緩存配置，配置方法請參考文件中的注釋內容。

例如：default = 1000,30m #定義緩存名 default ，對象大小 1000，緩存數據有效時間 30 分鍾。你可以定義多個不同名稱的緩存。

三. 編寫代碼

Test.java

public static void main(String[] args) {
    CacheChannel cache = J2Cache.getChannel();

    //緩存操作
    cache.set("default", "1", "Hello J2Cache");
    System.out.println(cache.get("default", "1"));
    cache.evict("default", "1");
    System.out.println(cache.get("default", "1"));

    cache.close();
}

編譯並運行查看結果，更多的用法請參考 CacheChannel.java 接口的方法。

請注意 cache.close() 方法只需在程序退出時調用。

四. 動態構建 J2Cache 實例

J2CacheConfig config = new J2CacheConfig();
//填充 config 變量所需的配置信息
J2CacheBuilder builder = J2CacheBuilder.init(config);
CacheChannel channel = builder.getChannel();
//進行緩存的操作
channel.close();

五. 集群測試

為了方便測試集群模式下 J2Cache 的運行，我們提供了一個命令行小程序，請參考此頁面前面的 “測試方法”。

常見問題

1. J2Cache 的使用場景是什么？  
   首先你的應用是運行在集群環境，使用 J2Cache 可以有效降低節點間的數據傳輸量；其次單節點使用 J2Cache 可以避免應用重啟后對后端業務系統的沖擊

2. 為什么不能在程序中設置緩存的有效期  
   在程序中定義緩存數據的有效期會導致緩存不可控，一旦數據出問題無從查起，因此 J2Cache 的所有緩存的有效期都必須在 一級緩存 的配置中預設好再使用

3. 如何使用 JGroups 組播方式（無法在雲主機中使用）  
   首先修改 j2cache.properties 中的 j2cache.broadcast 值為 jgroups，然后在 maven 中引入

   <dependency>
       <groupId>org.jgroups</groupId>
       <artifactId>jgroups</artifactId>
       <version>3.6.13.Final</version>
   </dependency>

4. 如何使用 ehcache 作為一級緩存  
   首先修改 j2cache.properties 中的 j2cache.L1.provider_class 為 ehcache 或者 ehcache3，然后拷貝 ehcache.xml 或者 ehcache3.xml 到類路徑，並配置好緩存，需要在項目中引入對 ehcache 的支持：

   <dependency><!-- Ehcache 2.x //-->
       <groupId>net.sf.ehcache</groupId>
       <artifactId>ehcache</artifactId>
       <version>2.10.4</version>
   </dependency>
   
   <dependency><!-- Ehcache 3.x //-->
       <groupId>org.ehcache</groupId>
       <artifactId>ehcache</artifactId>
       <version>3.4.0</version>
   </dependency>

5. 如何使用 RabbitMQ 作為消息通知  
   首先修改 j2cache.properties 中的 j2cache.broadcast 為 rabbitmq，然后在 j2cache.properties 中配置 rabbitmq.xxx 相關信息。

   需要在項目中引入對 rabbitmq 的支持：

   <dependency>
       <groupId>com.rabbitmq</groupId>
       <artifactId>amqp-client</artifactId>
       <version>5.3.0</version>
   </dependency>

6. 如何使用 RocketMQ 作為消息通知  
   首先修改 j2cache.properties 中的 j2cache.broadcast 為 rocketmq，然后在 j2cache.properties 中配置 rocketmq.xxx 相關信息。

   需要在項目中引入對 rabbitmq 的支持：

   <dependency>
       <groupId>org.apache.rocketmq</groupId>
       <artifactId>rocketmq-client</artifactId>
       <version>4.3.0</version>
       <scope>provided</scope>
   </dependency>

7. 如何使用 memcached 作為二級緩存  
   首先修改 j2cache.properties 中的 j2cache.L2.provider_class 為 memcached，然后在 j2cache.properties 中配置 memcached.xxx 相關信息。

   需要在項目中引入對 memcached 的支持：

   <dependency>
       <groupId>com.googlecode.xmemcached</groupId>
       <artifactId>xmemcached</artifactId>
       <version>2.4.5</version>
   </dependency>

8. 為什么 J2Cache 初始化時，連接本機的 Redis 非常慢，要 5 秒以上？

   如果出現這種情況，請在系統 hosts 里配置機器名和IP地址的對應關系，例如：

   127.0.0.1       localhost
   127.0.0.1       winter-notebook.local
   ::1             localhost
   ::1             winter-notebook.local

9. 使用何種 Redis 的存儲模式最佳？generic 還是 hash ?

   我們推薦使用 generic 存儲模式，這也是 J2Cache 默認的存儲模式，hash 模式最大的問題是無法單獨對 key 進行 expire 設置。