golang開發緩存組件


代碼地址github:cache

花了一天時間看了下實驗樓的cache組件,使用golang編寫的,收獲還是蠻多的,緩存組件的設計其實挺簡單的,主要思路或者設計點如下:

  • 全局struct對象:用來做緩存(基於該struct實現增刪改查基本操作)
  • 定時gc功能(其實就是定時刪除struct對象中過期的緩存對):剛好用上golang的ticker外加channel控制實現
  • 支持緩存寫文件及從文件讀緩存:其實就是將這里的key-value數據通過gob模塊進行一次編解碼操作
  • 並發讀寫:上鎖(golang支持讀寫鎖,一般使用時在被操作的struct對象里面聲明相應的鎖,即sync.RWMutex,操作之前先上鎖,之后解鎖即可)

其實大概就是這么多,下面來分解下:

1、cache組件

要保存數據到緩存(即內存中),先要設計數據結構,cache一般都有過期時間,抽象的struct如下:

type Item struct {
	Object     interface{} //數據項
	Expiration int64       //數據項過期時間(0永不過期)
}

type Cache struct {
	defaultExpiration time.Duration //如果數據項沒有指定過期時使用
	items             map[string]Item
	mu                sync.RWMutex  //讀寫鎖
	gcInterval        time.Duration //gc周期
	stopGc            chan bool     //停止gc管道標識
}

其中,Cache struct為全局緩存對象,緩存的key-value類型為Item,其中包含Object類型、Expiration類型,Object類型設計為interface{}就是為了可以緩存任意數據。

2、過期處理

下面是判斷item中的某項是否過期:

func (item Item) IsExpired() bool {
	if item.Expiration == 0 {
		return false
	}
	return time.Now().UnixNano() > item.Expiration //如果當前時間超則過期
}

3、定時gc

想要實現定時功能,要用到golang的time包,使用NewTicker聲明一個ticker類型,再使用for循環讀取ticker.C數據,循環一次則取一次數據,進行一次DeleteExpired操作,Cache中的stopGc用於結束ticker,這樣整個gcLoop()便會停止,使用select監聽通道數據分別處理如下:

//循環gc
func (c *Cache) gcLoop() {
	ticker := time.NewTicker(c.gcInterval) //初始化一個定時器
	for {
		select {
		case <-ticker.C:
			c.DeleteExpired()
		case <-c.stopGc:
			ticker.Stop()
			return
		}
	}
}

4、緩存寫文件及從文件讀緩存

這里要使用到golang自帶gob包,gob主要用於諸如遠程調用等過程的參數編解碼,相比json傳輸而言,大數據量下效率明顯占優。gob的使用一般流程是:聲明一個Encoder/Decoder、然后調用Encode/Decode方法直接進行編解碼,這里Decode方法一定要傳指針類型,Encode方法比較任意,指針or值類型都可以,gob支持的數據類型有限,struct、slice、map這些都支持,channel和func類型不支持。編解碼雙方要保持“數據一致性”,比如一個struct,雙方相同的的字段其類型必須一致,缺失的字段將會直接被忽略,這里還要注意字段小寫是不會被gob處理的,另外還要注意一點:gob操作的數據類型包含interface{}時,必須對interface{}所表示的實際類型進行一次register方可,以下是編解碼的一個應用:

//將緩存數據寫入io.Writer中
func (c *Cache) Save(w io.Writer) (err error) {
	enc := gob.NewEncoder(w)
	defer func() {
		if x := recover(); x != nil {
			err = fmt.Errorf("Error Registering item types with gob library")
		}
	}()
	c.mu.RLock()
	defer c.mu.RUnlock()
	for _, v := range c.items {
		gob.Register(v.Object)
	}
	err = enc.Encode(&c.items)
	return
}
//從io.Reader讀取
func (c *Cache) Load(r io.Reader) error {
	dec := gob.NewDecoder(r)
	items := make(map[string]Item, 0)
	err := dec.Decode(&items)
	if err != nil {
		return err
	}
	c.mu.Lock()
	defer c.mu.Unlock()
	for k, v := range items {
		obj, ok := c.items[k]
		if !ok || obj.IsExpired() {
			c.items[k] = v
		}
	}
	return nil
}

5、測試

其實整體實現就是對Cache struct的crud操作,就不多記錄了,測試下:

package main

import (
	"cache"
	"fmt"
	"time"
)

func main() {
	defaultExpiration, _ := time.ParseDuration("0.5h")
	gcInterval, _ := time.ParseDuration("3s")
	c := cache.NewCache(defaultExpiration, gcInterval)

	expiration, _ := time.ParseDuration("2s")
	k1 := "hello world!"
	c.Set("k1", k1, expiration)

	if v, found := c.Get("k1"); found {
		fmt.Println("found k1:", v)
	} else {
		fmt.Println("not found k1")
	}

	err := c.SaveToFile("./items.txt")
	if err != nil {
		fmt.Println(err)
	}
	err = c.LoadFromFile("./items.txt")
	if err != nil {
		fmt.Println(err)
	}

	s, _ := time.ParseDuration("4s")
	time.Sleep(s)
	if v, found := c.Get("k1"); found {
		fmt.Println("found k1:", v)
	} else {
		fmt.Println("not found k1")
	}

}

輸出結果如下:

image

這里對k1設置2s的過期時間,time.Sleep等待4s之后再去獲取緩存的k1數據,這時已經為空。

至此,over。。。詳細代碼點最頂端源碼查看吧。。。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM