一、redis
簡介
redis(REmote DIctionary Server)是一個由Salvatore Sanfilippo寫key-value存儲系統,它由C語言編寫、遵守BSD協議、支持網絡、可基於內存亦可持久化的日志型、Key-Value類型的數據庫,並提供多種語言的API。和Memcached類似,它支持存儲的value類型相對更多,包括string(字符串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hash(哈希類型)。這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操作,而且這些操作都是原子性的。在此基礎上,redis支持各種不同方式的排序。與memcached一樣,為了保證效率,數據都是緩存在內存中。區別的是redis會周期性的把更新的數據寫入磁盤或者把修改操作寫入追加的記錄文件,並且在此基礎上實現了master-slave(主從)同步,redis在3.0版本推出集群模式。
官方網站:https://redis.io/
源碼部署
yum install gcc -y #安裝C依賴 wget http://download.redis.io/redis-stable.tar.gz #下載穩定版本 tar zxvf redis-stable.tar.gz #解壓 cd redis-stable make PREFIX=/opt/app/redis install #指定目錄編譯 make install mkdir /etc/redis #建立配置目錄 cp redis.conf /etc/redis/6379.conf # 拷貝配置文件 cp utils/redis_init_script /etc/init.d/redis #拷貝init啟動腳本針對6.X系統 chmod a+x /etc/init.d/redis #添加執行權限 修改配置文件: vi /etc/redis/6379.conf bind 0.0.0.0 #監聽地址 maxmemory 4294967296 #限制最大內存(4G): daemonize yes #后台運行 ####啟動與停止 /etc/init.d/redis start /etc/init.d/redis stop
查看版本信息
#執行客戶端工具 redis-cli #輸入命令info 127.0.0.1:6379> info # Server redis_version:4.0.10 redis_git_sha1:00000000 redis_git_dirty:0 redis_build_id:cf83e9c690dbed33 redis_mode:standalone os:Linux 2.6.32-642.el6.x86_64 x86_64 arch_bits:64 multiplexing_api:epoll
二、golang操作redis
安裝
golang操作redis的客戶端包有多個比如redigo、go-redis,github上Star最多的莫屬redigo。
github地址:https://github.com/garyburd/redigo 目前已經遷移到:https://github.com/gomodule/redigo
文檔:https://godoc.org/github.com/garyburd/redigo/redis
go get github.com/garyburd/redigo/redis import "github.com/garyburd/redigo/redis"
連接
Conn接口是與Redis協作的主要接口,可以使用Dial,DialWithTimeout或者NewConn函數來創建連接,當任務完成時,應用程序必須調用Close函數來完成操作。
package main import ( "github.com/garyburd/redigo/redis" "fmt" ) func main() { conn,err := redis.Dial("tcp","10.1.210.69:6379") if err != nil { fmt.Println("connect redis error :",err) return } defer conn.Close() }
命令操作
通過使用Conn接口中的do方法執行redis命令,redis命令大全參考:http://doc.redisfans.com/
go中發送與響應對應類型:
Do函數會必要時將參數轉化為二進制字符串
Go Type | Conversion |
---|---|
[]byte | Sent as is |
string | Sent as is |
int, int64 | strconv.FormatInt(v) |
float64 | strconv.FormatFloat(v, 'g', -1, 64) |
bool | true -> "1", false -> "0" |
nil | "" |
all other types | fmt.Print(v) |
Redis 命令響應會用以下Go類型表示:
Redis type | Go type |
---|---|
error | redis.Error |
integer | int64 |
simple string | string |
bulk string | []byte or nil if value not present. |
array | []interface{} or nil if value not present. |
可以使用GO的類型斷言或者reply輔助函數將返回的interface{}轉換為對應類型。
操作示例:
get、set
package main import ( "github.com/garyburd/redigo/redis" "fmt" ) func main() { conn,err := redis.Dial("tcp","10.1.210.69:6379") if err != nil { fmt.Println("connect redis error :",err) return } defer conn.Close() _, err = conn.Do("SET", "name", "wd") if err != nil { fmt.Println("redis set error:", err) } name, err := redis.String(conn.Do("GET", "name")) if err != nil { fmt.Println("redis get error:", err) } else { fmt.Printf("Got name: %s \n", name) } }
設置key過期時間
_, err = conn.Do("expire", "name", 10) //10秒過期 if err != nil { fmt.Println("set expire error: ", err) return }
批量獲取mget、批量設置mset
_, err = conn.Do("MSET", "name", "wd","age",22) if err != nil { fmt.Println("redis mset error:", err) } res, err := redis.Strings(conn.Do("MGET", "name","age")) if err != nil { fmt.Println("redis get error:", err) } else { res_type := reflect.TypeOf(res) fmt.Printf("res type : %s \n", res_type) fmt.Printf("MGET name: %s \n", res) fmt.Println(len(res)) } //結果: //res type : []string //MGET name: [wd 22] //2
列表操作
package main import ( "github.com/garyburd/redigo/redis" "fmt" "reflect" ) func main() { conn,err := redis.Dial("tcp","10.1.210.69:6379") if err != nil { fmt.Println("connect redis error :",err) return } defer conn.Close() _, err = conn.Do("LPUSH", "list1", "ele1","ele2","ele3") if err != nil { fmt.Println("redis mset error:", err) } res, err := redis.String(conn.Do("LPOP", "list1")) if err != nil { fmt.Println("redis POP error:", err) } else { res_type := reflect.TypeOf(res) fmt.Printf("res type : %s \n", res_type) fmt.Printf("res : %s \n", res) } } //res type : string //res : ele3
hash操作
package main import ( "github.com/garyburd/redigo/redis" "fmt" "reflect" ) func main() { conn,err := redis.Dial("tcp","10.1.210.69:6379") if err != nil { fmt.Println("connect redis error :",err) return } defer conn.Close() _, err = conn.Do("HSET", "student","name", "wd","age",22) if err != nil { fmt.Println("redis mset error:", err) } res, err := redis.Int64(conn.Do("HGET", "student","age")) if err != nil { fmt.Println("redis HGET error:", err) } else { res_type := reflect.TypeOf(res) fmt.Printf("res type : %s \n", res_type) fmt.Printf("res : %d \n", res) } } //res type : int64 //res : 22
Pipelining(管道)
管道操作可以理解為並發操作,並通過Send(),Flush(),Receive()三個方法實現。客戶端可以使用send()方法一次性向服務器發送一個或多個命令,命令發送完畢時,使用flush()方法將緩沖區的命令輸入一次性發送到服務器,客戶端再使用Receive()方法依次按照先進先出的順序讀取所有命令操作結果。
Send(commandName string, args ...interface{}) error Flush() error Receive() (reply interface{}, err error)
- Send:發送命令至緩沖區
- Flush:清空緩沖區,將命令一次性發送至服務器
- Recevie:依次讀取服務器響應結果,當讀取的命令未響應時,該操作會阻塞。
示例:
package main import ( "github.com/garyburd/redigo/redis" "fmt" ) func main() { conn,err := redis.Dial("tcp","10.1.210.69:6379") if err != nil { fmt.Println("connect redis error :",err) return } defer conn.Close() conn.Send("HSET", "student","name", "wd","age","22") conn.Send("HSET", "student","Score","100") conn.Send("HGET", "student","age") conn.Flush() res1, err := conn.Receive() fmt.Printf("Receive res1:%v \n", res1) res2, err := conn.Receive() fmt.Printf("Receive res2:%v\n",res2) res3, err := conn.Receive() fmt.Printf("Receive res3:%s\n",res3) } //Receive res1:0 //Receive res2:0 //Receive res3:22
發布/訂閱
redis本身具有發布訂閱的功能,其發布訂閱功能通過命令SUBSCRIBE(訂閱)/PUBLISH(發布)實現,並且發布訂閱模式可以是多對多模式還可支持正則表達式,發布者可以向一個或多個頻道發送消息,訂閱者可訂閱一個或者多個頻道接受消息。
示意圖:
發布者:
訂閱者:
操作示例,示例中將使用兩個goroutine分別擔任發布者和訂閱者角色進行演示:
package main import ( "github.com/garyburd/redigo/redis" "fmt" "time" ) func Subs() { //訂閱者 conn, err := redis.Dial("tcp", "10.1.210.69:6379") if err != nil { fmt.Println("connect redis error :", err) return } defer conn.Close() psc := redis.PubSubConn{conn} psc.Subscribe("channel1") //訂閱channel1頻道 for { switch v := psc.Receive().(type) { case redis.Message: fmt.Printf("%s: message: %s\n", v.Channel, v.Data) case redis.Subscription: fmt.Printf("%s: %s %d\n", v.Channel, v.Kind, v.Count) case error: fmt.Println(v) return } } } func Push(message string) { //發布者 conn, _ := redis.Dial("tcp", "10.1.210.69:6379") _,err1 := conn.Do("PUBLISH", "channel1", message) if err1 != nil { fmt.Println("pub err: ", err1) return } } func main() { go Subs() go Push("this is wd") time.Sleep(time.Second*3) } //channel1: subscribe 1 //channel1: message: this is wd
事務操作
MULTI, EXEC,DISCARD和WATCH是構成Redis事務的基礎,當然我們使用go語言對redis進行事務操作的時候本質也是使用這些命令。
MULTI:開啟事務
EXEC:執行事務
DISCARD:取消事務
WATCH:監視事務中的鍵變化,一旦有改變則取消事務。
示例:
package main import ( "github.com/garyburd/redigo/redis" "fmt" ) func main() { conn,err := redis.Dial("tcp","10.1.210.69:6379") if err != nil { fmt.Println("connect redis error :",err) return } defer conn.Close() conn.Send("MULTI") conn.Send("INCR", "foo") conn.Send("INCR", "bar") r, err := conn.Do("EXEC") fmt.Println(r) } //[1, 1]
連接池使用
redis連接池是通過pool結構體實現,以下是源碼定義,相關參數說明已經備注:
type Pool struct { // Dial is an application supplied function for creating and configuring a // connection. // // The connection returned from Dial must not be in a special state // (subscribed to pubsub channel, transaction started, ...). Dial func() (Conn, error) //連接方法 // TestOnBorrow is an optional application supplied function for checking // the health of an idle connection before the connection is used again by // the application. Argument t is the time that the connection was returned // to the pool. If the function returns an error, then the connection is // closed. TestOnBorrow func(c Conn, t time.Time) error // Maximum number of idle connections in the pool. MaxIdle int //最大的空閑連接數,即使沒有redis連接時依然可以保持N個空閑的連接,而不被清除,隨時處於待命狀態 // Maximum number of connections allocated by the pool at a given time. // When zero, there is no limit on the number of connections in the pool. MaxActive int //最大的激活連接數,同時最多有N個連接 // Close connections after remaining idle for this duration. If the value // is zero, then idle connections are not closed. Applications should set // the timeout to a value less than the server's timeout. IdleTimeout time.Duration //空閑連接等待時間,超過此時間后,空閑連接將被關閉 // If Wait is true and the pool is at the MaxActive limit, then Get() waits // for a connection to be returned to the pool before returning. Wait bool //當配置項為true並且MaxActive參數有限制時候,使用Get方法等待一個連接返回給連接池 // Close connections older than this duration. If the value is zero, then // the pool does not close connections based on age. MaxConnLifetime time.Duration // contains filtered or unexported fields }
示例:
package main import ( "github.com/garyburd/redigo/redis" "fmt" ) var Pool redis.Pool func init() { //init 用於初始化一些參數,先於main執行 Pool = redis.Pool{ MaxIdle: 16, MaxActive: 32, IdleTimeout: 120, Dial: func() (redis.Conn, error) { return redis.Dial("tcp", "10.1.210.69:6379") }, } } func main() { conn :=Pool.Get() res,err := conn.Do("HSET","student","name","jack") fmt.Println(res,err) res1,err := redis.String(conn.Do("HGET","student","name")) fmt.Printf("res:%s,error:%v",res1,err) } //0 <nil> //res:jack,error:<nil>
三、golang操作mysql
mysql目前來說是使用最為流行的關系型數據庫,golang操作mysql使用最多的包go-sql-driver/mysql。
sqlx包是作為database/sql包的一個額外擴展包,在原有的database/sql加了很多擴展,如直接將查詢的數據轉為結構體,大大簡化了代碼書寫,當然database/sql包中的方法同樣起作用。
github地址:
- https://github.com/go-sql-driver/mysql
- https://github.com/jmoiron/sqlx
golang sql使用:
安裝
go get "github.com/go-sql-driver/mysql" go get "github.com/jmoiron/sqlx"
連接數據庫
var Db *sqlx.DB db, err := sqlx.Open("mysql","username:password@tcp(ip:port)/database?charset=utf8") Db = db
處理類型(Handle Types)
sqlx設計和database/sql使用方法是一樣的。包含有4中主要的handle types:
- sqlx.DB - 和sql.DB相似,表示數據庫。
- sqlx.Tx - 和sql.Tx相似,表示事物。
- sqlx.Stmt - 和sql.Stmt相似,表示prepared statement。
- sqlx.NamedStmt - 表示prepared statement(支持named parameters)
所有的handler types都提供了對database/sql的兼容,意味着當你調用sqlx.DB.Query時,可以直接替換為sql.DB.Query.這就使得sqlx可以很容易的加入到已有的數據庫項目中。
此外,sqlx還有兩個cursor類型:
- sqlx.Rows - 和sql.Rows類似,Queryx返回。
- sqlx.Row - 和sql.Row類似,QueryRowx返回。
相比database/sql方法還多了新語法,也就是實現將獲取的數據直接轉換結構體實現。
- Get(dest interface{}, …) error
- Select(dest interface{}, …) error
建表
以下所有示例均已以下表結構作為操作基礎。
CREATE TABLE `userinfo` ( `uid` INT(10) NOT NULL AUTO_INCREMENT, `username` VARCHAR(64) DEFAULT NULL, `password` VARCHAR(32) DEFAULT NULL, `department` VARCHAR(64) DEFAULT NULL, `email` varchar(64) DEFAULT NULL, PRIMARY KEY (`uid`) )ENGINE=InnoDB DEFAULT CHARSET=utf8
Exec使用
Exec和MustExec從連接池中獲取一個連接然后只想對應的query操作。對於不支持ad-hoc query execution的驅動,在操作執行的背后會創建一個prepared statement。在結果返回前這個connection會返回到連接池中。
需要注意的是不同的數據庫類型使用的占位符不同,mysql采用?作為占位符號。
- MySQL 使用?
- PostgreSQL 使用1,1,2等等
- SQLite 使用?或$1
- Oracle 使用:name
Exec增刪該示例
查詢語法使用Query后續會提到
package main import ( _ "github.com/go-sql-driver/mysql" "github.com/jmoiron/sqlx" "fmt" ) var Db *sqlx.DB func init() { db, err := sqlx.Open("mysql", "stu:1234qwer@tcp(10.0.0.241:3307)/test?charset=utf8") if err != nil { fmt.Println("open mysql failed,", err) return } Db = db } func main() { result, err := Db.Exec("INSERT INTO userinfo (username, password, department,email) VALUES (?, ?, ?,?)","wd","123","it","wd@163.com") if err != nil{ fmt.Println("insert failed,error: ", err) return } id,_ := result.LastInsertId() fmt.Println("insert id is :",id) _, err1 := Db.Exec("update userinfo set username = ? where uid = ?","jack",1) if err1 != nil{ fmt.Println("update failed error:",err1) } else { fmt.Println("update success!") } _, err2 := Db.Exec("delete from userinfo where uid = ? ", 1) if err2 != nil{ fmt.Println("delete error:",err2) }else{ fmt.Println("delete success") } } //insert id is : 1 //update success! //delete success
sql預聲明(Prepared Statements)
對於大部分的數據庫來說,當一個query執行的時候,在sql語句數據庫內部聲明已經聲明過了,其聲明是在數據庫中,我們可以提前進行聲明,以便在其他地方重用。
stmt, err := db.Prepare(`SELECT * FROM place WHERE telcode=?`) row = stmt.QueryRow(65) tx, err := db.Begin() txStmt, err := tx.Prepare(`SELECT * FROM place WHERE telcode=?`) row = txStmt.QueryRow(852)
當然sqlx還提供了Preparex()進行擴展,可直接用於結構體轉換
stmt, err := db.Preparex(`SELECT * FROM place WHERE telcode=?`) var p Place err = stmt.Get(&p, 852)
Query
Query是database/sql中執行查詢主要使用的方法,該方法返回row結果。Query返回一個sql.Rows對象和一個error對象。
在使用的時候應該吧Rows當成一個游標而不是一系列的結果。盡管數據庫驅動緩存的方法不一樣,通過Next()迭代每次獲取一列結果,對於查詢結果非常巨大的情況下,可以有效的限制內存的使用,Scan()利用reflect把sql每一列結果映射到go語言的數據類型如string,[]byte等。如果你沒有遍歷完全部的rows結果,一定要記得在把connection返回到連接池之前調用rows.Close()。
Query返回的error有可能是在server准備查詢的時候發生的,也有可能是在執行查詢語句的時候發生的。例如可能從連接池中獲取一個壞的連級(盡管數據庫會嘗試10次去發現或創建一個工作連接)。一般來說,錯誤主要由錯誤的sql語句,錯誤的類似匹配,錯誤的域名或表名等。
在大部分情況下,Rows.Scan()會把從驅動獲取的數據進行拷貝,無論驅動如何使用緩存。特殊類型sql.RawBytes可以用來從驅動返回的數據總獲取一個zero-copy的slice byte。當下一次調用Next的時候,這個值就不在有效了,因為它指向的內存已經被驅動重寫了別的數據。
Query使用的connection在所有的rows通過Next()遍歷完后或者調用rows.Close()后釋放。
示例:
package main import ( _ "github.com/go-sql-driver/mysql" "github.com/jmoiron/sqlx" "fmt" ) var Db *sqlx.DB func init() { db, err := sqlx.Open("mysql", "stu:1234qwer@tcp(10.0.0.241:3307)/test?charset=utf8") if err != nil { fmt.Println("open mysql failed,", err) return } Db = db } func main() { rows, err := Db.Query("SELECT username,password,email FROM userinfo") if err != nil{ fmt.Println("query failed,error: ", err) return } for rows.Next() { //循環結果 var username,password,email string err = rows.Scan(&username, &password, &email) println(username,password,email) } } //wd 123 wd@163.com //jack 1222 jack@165.com
Queryx
Queryx和Query行為很相似,不過返回一個sqlx.Rows對象,支持擴展的scan行為,同時可將對數據進行結構體轉換。
示例:
package main import ( _ "github.com/go-sql-driver/mysql" "github.com/jmoiron/sqlx" "fmt" ) var Db *sqlx.DB type stu struct { Username string `db:"username"` Password string `db:"password"` Department string `db:"department"` Email string `db:"email"` } func init() { db, err := sqlx.Open("mysql", "stu:1234qwer@tcp(10.0.0.241:3307)/test?charset=utf8") if err != nil { fmt.Println("open mysql failed,", err) return } Db = db } func main() { rows, err := Db.Queryx("SELECT username,password,email FROM userinfo") if err != nil{ fmt.Println("Qeryx failed,error: ", err) return } for rows.Next() { //循環結果 var stu1 stu err = rows.StructScan(&stu1)// 轉換為結構體 fmt.Println("stuct data:",stu1.Username,stu1.Password) } } //stuct data: wd 123 //stuct data: jack 1222
QueryRow和QueryRowx
QueryRow和QueryRowx都是從數據庫中獲取一條數據,但是QueryRowx提供scan擴展,可直接將結果轉換為結構體。
package main import ( _ "github.com/go-sql-driver/mysql" "github.com/jmoiron/sqlx" "fmt" ) var Db *sqlx.DB type stu struct { Username string `db:"username"` Password string `db:"password"` Department string `db:"department"` Email string `db:"email"` } func init() { db, err := sqlx.Open("mysql", "stu:1234qwer@tcp(10.0.0.241:3307)/test?charset=utf8") if err != nil { fmt.Println("open mysql failed,", err) return } Db = db } func main() { row := Db.QueryRow("SELECT username,password,email FROM userinfo where uid = ?",1) // QueryRow返回錯誤,錯誤通過Scan返回 var username,password,email string err :=row.Scan(&username,&password,&email) if err != nil{ fmt.Println(err) } fmt.Printf("this is QueryRow res:[%s:%s:%s]\n",username,password,email) var s stu err1 := Db.QueryRowx("SELECT username,password,email FROM userinfo where uid = ?",2).StructScan(&s) if err1 != nil{ fmt.Println("QueryRowx error :",err1) }else { fmt.Printf("this is QueryRowx res:%v",s) } } //this is QueryRow res:[wd:123:wd@163.com] //this is QueryRowx res:{jack 1222 jack@165.com}
Get 和Select(非常常用)
Get和Select是一個非常省時的擴展,可直接將結果賦值給結構體,其內部封裝了StructScan進行轉化。Get用於獲取單個結果然后Scan,Select用來獲取結果切片。
示例:
package main import ( _ "github.com/go-sql-driver/mysql" "github.com/jmoiron/sqlx" "fmt" ) var Db *sqlx.DB type stu struct { Username string `db:"username"` Password string `db:"password"` Department string `db:"department"` Email string `db:"email"` } func init() { db, err := sqlx.Open("mysql", "stu:1234qwer@tcp(10.0.0.241:3307)/test?charset=utf8") if err != nil { fmt.Println("open mysql failed,", err) return } Db = db } func main() { var stus []stu err := Db.Select(&stus,"SELECT username,password,email FROM userinfo") if err != nil{ fmt.Println("Select error",err) } fmt.Printf("this is Select res:%v\n",stus) var s stu err1 := Db.Get(&s,"SELECT username,password,email FROM userinfo where uid = ?",2) if err1 != nil{ fmt.Println("GET error :",err1) }else { fmt.Printf("this is GET res:%v",s) } } //this is Select res:[{wd 123 wd@163.com} {jack 1222 jack@165.com}] //this is GET res:{jack 1222 jack@165.com}
事務(Transactions)
事務操作是通過三個方法實現:
Begin():開啟事務
Commit():提交事務(執行sql)
Rollback():回滾
使用流程:
tx, err := db.Begin() err = tx.Exec(...) err = tx.Commit() //或者使用sqlx擴展的事務 tx := db.MustBegin() tx.MustExec(...) err = tx.Commit()
由於事務是一個一直連接的狀態,所以Tx對象必須綁定和控制單個連接。一個Tx會在整個生命周期中保存一個連接,然后在調用commit或Rollback()的時候釋放掉。在調用這幾個函數的時候必須十分小心,否則連接會一直被占用直到被垃圾回收。
使用示例:
package main import ( _ "github.com/go-sql-driver/mysql" "github.com/jmoiron/sqlx" "fmt" ) var Db *sqlx.DB func init() { db, err := sqlx.Open("mysql", "stu:1234qwer@tcp(10.0.0.241:3307)/test?charset=utf8") if err != nil { fmt.Println("open mysql failed,", err) return } Db = db } func main() { tx, err := Db.Beginx() _, err = tx.Exec("insert into userinfo(username,password) values(?,?)", "Rose","2223") if err != nil { tx.Rollback() } _, err = tx.Exec("insert into userinfo(username,password) values(?,?)", "Mick",222) if err != nil { fmt.Println("exec sql error:",err) tx.Rollback() } err = tx.Commit() if err != nil { fmt.Println("commit error") } }
連接池設置
默認情況下,連接池增長無限制,並且只要連接池中沒有可用的空閑連接,就會創建連接。我們可以使用DB.SetMaxOpenConns設置池的最大大小。未使用的連接標記為空閑,如果不需要則關閉。要避免建立和關閉大量連接,可以使用DB.SetMaxIdleConns設置最大空閑連接。
注意:該設置方法golang版本至少為1.2
- DB.SetMaxIdleConns(n int) 設置最大空閑連接數
- DB.SetMaxOpenConns(n int) 設置最大打開的連接數
示例:
package main import ( _ "github.com/go-sql-driver/mysql" "github.com/jmoiron/sqlx" "fmt" ) var Db *sqlx.DB func init() { db, err := sqlx.Open("mysql", "stu:1234qwer@tcp(10.0.0.241:3307)/test?charset=utf8") if err != nil { fmt.Println("open mysql failed,", err) return } Db = db Db.SetMaxOpenConns(30) Db.SetMaxIdleConns(15) }
參考:http://jmoiron.github.io/sqlx/