目錄
sqlx庫使用指南
在項目中我們通常可能會使用database/sql連接MySQL數據庫。本文借助使用sqlx實現批量插入數據的例子，介紹了sqlx中可能被你忽視了的sqlx.In和DB.NamedExec方法。
sqlx介紹
在項目中我們通常可能會使用database/sql連接MySQL數據庫。sqlx可以認為是Go語言內置database/sql的超集，它在優秀的內置database/sql基礎上提供了一組擴展。這些擴展中除了大家常用來查詢的Get(dest interface{}, ...) error和Select(dest interface{}, ...) error外還有很多其他強大的功能。
安裝sqlx
go get github.com/jmoiron/sqlx
基本使用
連接數據庫
var db *sqlx.DB
func initDB() (err error) {
dsn := "user:password@tcp(127.0.0.1:3306)/sql_test?charset=utf8mb4&parseTime=True"
// 也可以使用MustConnect連接不成功就panic
db, err = sqlx.Connect("mysql", dsn)
if err != nil {
fmt.Printf("connect DB failed, err:%v\n", err)
return
}
db.SetMaxOpenConns(20)
db.SetMaxIdleConns(10)
return
}
查詢
查詢單行數據示例代碼如下：
// 查詢單條數據示例
func queryRowDemo() {
sqlStr := "select id, name, age from user where id=?"
var u user
err := db.Get(&u, sqlStr, 1)
if err != nil {
fmt.Printf("get failed, err:%v\n", err)
return
}
fmt.Printf("id:%d name:%s age:%d\n", u.ID, u.Name, u.Age)
}
查詢多行數據示例代碼如下：
// 查詢多條數據示例
func queryMultiRowDemo() {
sqlStr := "select id, name, age from user where id > ?"
var users []user
err := db.Select(&users, sqlStr, 0)
if err != nil {
fmt.Printf("query failed, err:%v\n", err)
return
}
fmt.Printf("users:%#v\n", users)
}
插入、更新和刪除
sqlx中的exec方法與原生sql中的exec使用基本一致：
// 插入數據
func insertRowDemo() {
sqlStr := "insert into user(name, age) values (?,?)"
ret, err := db.Exec(sqlStr, "沙河小王子", 19)
if err != nil {
fmt.Printf("insert failed, err:%v\n", err)
return
}
theID, err := ret.LastInsertId() // 新插入數據的id
if err != nil {
fmt.Printf("get lastinsert ID failed, err:%v\n", err)
return
}
fmt.Printf("insert success, the id is %d.\n", theID)
}
// 更新數據
func updateRowDemo() {
sqlStr := "update user set age=? where id = ?"
ret, err := db.Exec(sqlStr, 39, 6)
if err != nil {
fmt.Printf("update failed, err:%v\n", err)
return
}
n, err := ret.RowsAffected() // 操作影響的行數
if err != nil {
fmt.Printf("get RowsAffected failed, err:%v\n", err)
return
}
fmt.Printf("update success, affected rows:%d\n", n)
}
// 刪除數據
func deleteRowDemo() {
sqlStr := "delete from user where id = ?"
ret, err := db.Exec(sqlStr, 6)
if err != nil {
fmt.Printf("delete failed, err:%v\n", err)
return
}
n, err := ret.RowsAffected() // 操作影響的行數
if err != nil {
fmt.Printf("get RowsAffected failed, err:%v\n", err)
return
}
fmt.Printf("delete success, affected rows:%d\n", n)
}
NamedExec
DB.NamedExec方法用來綁定SQL語句與結構體或map中的同名字段。
func insertUserDemo()(err error){
sqlStr := "INSERT INTO user (name,age) VALUES (:name,:age)"
_, err = db.NamedExec(sqlStr,
map[string]interface{}{
"name": "七米",
"age": 28,
})
return
}
NamedQuery
與DB.NamedExec同理，這里是支持查詢。
func namedQuery(){
sqlStr := "SELECT * FROM user WHERE name=:name"
// 使用map做命名查詢
rows, err := db.NamedQuery(sqlStr, map[string]interface{}{"name": "七米"})
if err != nil {
fmt.Printf("db.NamedQuery failed, err:%v\n", err)
return
}
defer rows.Close()
for rows.Next(){
var u user
err := rows.StructScan(&u)
if err != nil {
fmt.Printf("scan failed, err:%v\n", err)
continue
}
fmt.Printf("user:%#v\n", u)
}
u := user{
Name: "七米",
}
// 使用結構體命名查詢，根據結構體字段的 db tag進行映射
rows, err = db.NamedQuery(sqlStr, u)
if err != nil {
fmt.Printf("db.NamedQuery failed, err:%v\n", err)
return
}
defer rows.Close()
for rows.Next(){
var u user
err := rows.StructScan(&u)
if err != nil {
fmt.Printf("scan failed, err:%v\n", err)
continue
}
fmt.Printf("user:%#v\n", u)
}
}
事務操作
對於事務操作，我們可以使用sqlx中提供的db.Beginx()和tx.Exec()方法。示例代碼如下：
func transactionDemo2()(err error) {
tx, err := db.Beginx() // 開啟事務
if err != nil {
fmt.Printf("begin trans failed, err:%v\n", err)
return err
}
defer func() {
if p := recover(); p != nil {
tx.Rollback()
panic(p) // re-throw panic after Rollback
} else if err != nil {
fmt.Println("rollback")
tx.Rollback() // err is non-nil; don't change it
} else {
err = tx.Commit() // err is nil; if Commit returns error update err
fmt.Println("commit")
}
}()
sqlStr1 := "Update user set age=20 where id=?"
rs, err := tx.Exec(sqlStr1, 1)
if err!= nil{
return err
}
n, err := rs.RowsAffected()
if err != nil {
return err
}
if n != 1 {
return errors.New("exec sqlStr1 failed")
}
sqlStr2 := "Update user set age=50 where i=?"
rs, err = tx.Exec(sqlStr2, 5)
if err!=nil{
return err
}
n, err = rs.RowsAffected()
if err != nil {
return err
}
if n != 1 {
return errors.New("exec sqlStr1 failed")
}
return err
}
sqlx.In
sqlx.In是sqlx提供的一個非常方便的函數。
sqlx.In的批量插入示例
表結構
為了方便演示插入數據操作，這里創建一個user表，表結構如下：
CREATE TABLE `user` (
`id` BIGINT(20) NOT NULL AUTO_INCREMENT,
`name` VARCHAR(20) DEFAULT '',
`age` INT(11) DEFAULT '0',
PRIMARY KEY(`id`)
)ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;
結構體
定義一個user結構體，字段通過tag與數據庫中user表的列一致。
type User struct {
Name string `db:"name"`
Age int `db:"age"`
}
bindvars（綁定變量）
查詢占位符?在內部稱為bindvars（查詢占位符）,它非常重要。你應該始終使用它們向數據庫發送值，因為它們可以防止SQL注入攻擊。database/sql不嘗試對查詢文本進行任何驗證；它與編碼的參數一起按原樣發送到服務器。除非驅動程序實現一個特殊的接口，否則在執行之前，查詢是在服務器上准備的。因此bindvars是特定於數據庫的:
- MySQL中使用
? - PostgreSQL使用枚舉的
$1、$2等bindvar語法 - SQLite中
?和$1的語法都支持 - Oracle中使用
:name的語法
bindvars的一個常見誤解是，它們用來在sql語句中插入值。它們其實僅用於參數化，不允許更改SQL語句的結構。例如，使用bindvars嘗試參數化列或表名將不起作用：
// ？不能用來插入表名（做SQL語句中表名的占位符）
db.Query("SELECT * FROM ?", "mytable")
// ？也不能用來插入列名（做SQL語句中列名的占位符）
db.Query("SELECT ?, ? FROM people", "name", "location")
自己拼接語句實現批量插入
比較笨，但是很好理解。就是有多少個User就拼接多少個(?, ?)。
// BatchInsertUsers 自行構造批量插入的語句
func BatchInsertUsers(users []*User) error {
// 存放 (?, ?) 的slice
valueStrings := make([]string, 0, len(users))
// 存放values的slice
valueArgs := make([]interface{}, 0, len(users) * 2)
// 遍歷users准備相關數據
for _, u := range users {
// 此處占位符要與插入值的個數對應
valueStrings = append(valueStrings, "(?, ?)")
valueArgs = append(valueArgs, u.Name)
valueArgs = append(valueArgs, u.Age)
}
// 自行拼接要執行的具體語句
stmt := fmt.Sprintf("INSERT INTO user (name, age) VALUES %s",
strings.Join(valueStrings, ","))
_, err := DB.Exec(stmt, valueArgs...)
return err
}
使用sqlx.In實現批量插入
前提是需要我們的結構體實現driver.Valuer接口：
func (u User) Value() (driver.Value, error) {
return []interface{}{u.Name, u.Age}, nil
}
使用sqlx.In實現批量插入代碼如下：
// BatchInsertUsers2 使用sqlx.In幫我們拼接語句和參數, 注意傳入的參數是[]interface{}
func BatchInsertUsers2(users []interface{}) error {
query, args, _ := sqlx.In(
"INSERT INTO user (name, age) VALUES (?), (?), (?)",
users..., // 如果arg實現了 driver.Valuer, sqlx.In 會通過調用 Value()來展開它
)
fmt.Println(query) // 查看生成的querystring
fmt.Println(args) // 查看生成的args
_, err := DB.Exec(query, args...)
return err
}
使用NamedExec實現批量插入
注意 ：該功能需1.3.1版本以上，並且1.3.1版本目前還有點問題，sql語句最后不能有空格和;，詳見issues/690。
使用NamedExec實現批量插入的代碼如下：
// BatchInsertUsers3 使用NamedExec實現批量插入
func BatchInsertUsers3(users []*User) error {
_, err := DB.NamedExec("INSERT INTO user (name, age) VALUES (:name, :age)", users)
return err
}
把上面三種方法綜合起來試一下：
func main() {
err := initDB()
if err != nil {
panic(err)
}
defer DB.Close()
u1 := User{Name: "七米", Age: 18}
u2 := User{Name: "q1mi", Age: 28}
u3 := User{Name: "小王子", Age: 38}
// 方法1
users := []*User{&u1, &u2, &u3}
err = BatchInsertUsers(users)
if err != nil {
fmt.Printf("BatchInsertUsers failed, err:%v\n", err)
}
// 方法2
users2 := []interface{}{u1, u2, u3}
err = BatchInsertUsers2(users2)
if err != nil {
fmt.Printf("BatchInsertUsers2 failed, err:%v\n", err)
}
// 方法3
users3 := []*User{&u1, &u2, &u3}
err = BatchInsertUsers3(users3)
if err != nil {
fmt.Printf("BatchInsertUsers3 failed, err:%v\n", err)
}
}
sqlx.In的查詢示例
關於sqlx.In這里再補充一個用法，在sqlx查詢語句中實現In查詢和FIND_IN_SET函數。即實現SELECT * FROM user WHERE id in (3, 2, 1);和SELECT * FROM user WHERE id in (3, 2, 1) ORDER BY FIND_IN_SET(id, '3,2,1');。
in查詢
查詢id在給定id集合中的數據。
// QueryByIDs 根據給定ID查詢
func QueryByIDs(ids []int)(users []User, err error){
// 動態填充id
query, args, err := sqlx.In("SELECT name, age FROM user WHERE id IN (?)", ids)
if err != nil {
return
}
// sqlx.In 返回帶 `?` bindvar的查詢語句, 我們使用Rebind()重新綁定它
query = DB.Rebind(query)
err = DB.Select(&users, query, args...)
return
}
in查詢和FIND_IN_SET函數
查詢id在給定id集合的數據並維持給定id集合的順序。
// QueryAndOrderByIDs 按照指定id查詢並維護順序
func QueryAndOrderByIDs(ids []int)(users []User, err error){
// 動態填充id
strIDs := make([]string, 0, len(ids))
for _, id := range ids {
strIDs = append(strIDs, fmt.Sprintf("%d", id))
}
query, args, err := sqlx.In("SELECT name, age FROM user WHERE id IN (?) ORDER BY FIND_IN_SET(id, ?)", ids, strings.Join(strIDs, ","))
if err != nil {
return
}
// sqlx.In 返回帶 `?` bindvar的查詢語句, 我們使用Rebind()重新綁定它
query = DB.Rebind(query)
err = DB.Select(&users, query, args...)
return
}
當然，在這個例子里面你也可以先使用IN查詢，然后通過代碼按給定的ids對查詢結果進行排序。
參考鏈接：