前言
Go 是一門簡單有趣的編程語言,與其他語言一樣,在使用時不免會遇到很多坑,不過它們大多不是 Go 本身的設計缺陷。如果你剛從其他語言轉到 Go,那這篇文章里的坑多半會踩到。
如果花時間學習官方 doc、wiki、討論郵件列表、 Rob Pike 的大量文章以及 Go 的源碼,會發現這篇文章中的坑是很常見的,新手跳過這些坑,能減少大量調試代碼的時間。
初級篇:1-34
1. 左大括號 {
不能單獨放一行
在其他大多數語言中,{
的位置你自行決定。Go 比較特別,遵守分號注入規則(automatic semicolon injection):編譯器會在每行代碼尾部特定分隔符后加 ;
來分隔多條語句,比如會在 )
后加分號:
// 錯誤示例 func main() { println("hello world") } // 等效於 func main(); // 無函數體 { println("hello world") }
./main.go: missing function body
./main.go: syntax error: unexpected semicolon or newline before {
// 正確示例 func main() { println("hello world") }
2. 未使用的變量
如果在函數體代碼中有未使用的變量,則無法通過編譯,不過全局變量聲明但不使用是可以的。
即使變量聲明后為變量賦值,依舊無法通過編譯,需在某處使用它:
// 錯誤示例 var gvar int // 全局變量,聲明不使用也可以 func main() { var one int // error: one declared and not used two := 2 // error: two declared and not used var three int // error: three declared and not used three = 3 } // 正確示例 // 可以直接注釋或移除未使用的變量 func main() { var one int _ = one two := 2 println(two) var three int one = three var four int four = four }
3. 未使用的 import
如果你 import 一個包,但包中的變量、函數、接口和結構體一個都沒有用到的話,將編譯失敗。
可以使用 _
下划線符號作為別名來忽略導入的包,從而避免編譯錯誤,這只會執行 package 的 init()
// 錯誤示例 import ( "fmt" // imported and not used: "fmt" "log" // imported and not used: "log" "time" // imported and not used: "time" ) func main() { } // 正確示例 // 可以使用 goimports 工具來注釋或移除未使用到的包 import ( _ "fmt" "log" "time" ) func main() { _ = log.Println _ = time.Now }
4. 簡短聲明的變量只能在函數內部使用
// 錯誤示例 myvar := 1 // syntax error: non-declaration statement outside function body func main() { } // 正確示例 var myvar = 1 func main() { }
5. 使用簡短聲明來重復聲明變量
不能用簡短聲明方式來單獨為一個變量重復聲明, :=
左側至少有一個新變量,才允許多變量的重復聲明:
// 錯誤示例 func main() { one := 0 one := 1 // error: no new variables on left side of := } // 正確示例 func main() { one := 0 one, two := 1, 2 // two 是新變量,允許 one 的重復聲明。比如 error 處理經常用同名變量 err one, two = two, one // 交換兩個變量值的簡寫 }
6. 不能使用簡短聲明來設置字段的值
struct 的變量字段不能使用 :=
來賦值以使用預定義的變量來避免解決:
// 錯誤示例 type info struct { result int } func work() (int, error) { return 3, nil } func main() { var data info data.result, err := work() // error: non-name data.result on left side of := fmt.Printf("info: %+v\n", data) } // 正確示例 func main() { var data info var err error // err 需要預聲明 data.result, err = work() if err != nil { fmt.Println(err) return } fmt.Printf("info: %+v\n", data) }
7. 不小心覆蓋了變量
對從動態語言轉過來的開發者來說,簡短聲明很好用,這可能會讓人誤會 :=
是一個賦值操作符。
如果你在新的代碼塊中像下邊這樣誤用了 :=
,編譯不會報錯,但是變量不會按你的預期工作:
func main() { x := 1 println(x) // 1 { println(x) // 1 x := 2 println(x) // 2 // 新的 x 變量的作用域只在代碼塊內部 } println(x) // 1 }
這是 Go 開發者常犯的錯,而且不易被發現。
可使用 vet 工具來診斷這種變量覆蓋,Go 默認不做覆蓋檢查,添加 -shadow
選項來啟用:
> go tool vet -shadow main.go main.go:9: declaration of "x" shadows declaration at main.go:5
注意 vet 不會報告全部被覆蓋的變量,可以使用 go-nyet 來做進一步的檢測:
> $GOPATH/bin/go-nyet main.go main.go:10:3:Shadowing variable `x`
8. 顯式類型的變量無法使用 nil 來初始化
nil
是 interface、function、pointer、map、slice 和 channel 類型變量的默認初始值。但聲明時不指定類型,編譯器也無法推斷出變量的具體類型。
// 錯誤示例 func main() { var x = nil // error: use of untyped nil _ = x } // 正確示例 func main() { var x interface{} = nil _ = x }
9. 直接使用值為 nil 的 slice、map
允許對值為 nil 的 slice 添加元素,但對值為 nil 的 map 添加元素則會造成運行時 panic
// map 錯誤示例 func main() { var m map[string]int m["one"] = 1 // error: panic: assignment to entry in nil map // m := make(map[string]int)// map 的正確聲明,分配了實際的內存 } // slice 正確示例 func main() { var s []int s = append(s, 1) }
10. map 容量
在創建 map 類型的變量時可以指定容量,但不能像 slice 一樣使用 cap()
來檢測分配空間的大小:
// 錯誤示例 func main() { m := make(map[string]int, 99) println(cap(m)) // error: invalid argument m1 (type map[string]int) for cap }
11. string 類型的變量值不能為 nil
對那些喜歡用 nil
初始化字符串的人來說,這就是坑:
// 錯誤示例 func main() { var s string = nil // cannot use nil as type string in assignment if s == nil { // invalid operation: s == nil (mismatched types string and nil) s = "default" } } // 正確示例 func main() { var s string // 字符串類型的零值是空串 "" if s == "" { s = "default" } }
12. Array 類型的值作為函數參數
在 C/C++ 中,數組(名)是指針。將數組作為參數傳進函數時,相當於傳遞了數組內存地址的引用,在函數內部會改變該數組的值。
在 Go 中,數組是值。作為參數傳進函數時,傳遞的是數組的原始值拷貝,此時在函數內部是無法更新該數組的:
// 數組使用值拷貝傳參 func main() { x := [3]int{1,2,3} func(arr [3]int) { arr[0] = 7 fmt.Println(arr) // [7 2 3] }(x) fmt.Println(x) // [1 2 3] // 並不是你以為的 [7 2 3] }
如果想修改參數數組:
- 直接傳遞指向這個數組的指針類型:
// 傳址會修改原數據 func main() { x := [3]int{1,2,3} func(arr *[3]int) { (*arr)[0] = 7 fmt.Println(arr) // &[7 2 3] }(&x) fmt.Println(x) // [7 2 3] }
- 直接使用 slice:即使函數內部得到的是 slice 的值拷貝,但依舊會更新 slice 的原始數據(底層 array)
// 會修改 slice 的底層 array,從而修改 slice func main() { x := []int{1, 2, 3} func(arr []int) { arr[0] = 7 fmt.Println(x) // [7 2 3] }(x) fmt.Println(x) // [7 2 3] }
13. range 遍歷 slice 和 array 時混淆了返回值
與其他編程語言中的 for-in
、foreach
遍歷語句不同,Go 中的 range
在遍歷時會生成 2 個值,第一個是元素索引,第二個是元素的值:
// 錯誤示例 func main() { x := []string{"a", "b", "c"} for v := range x { fmt.Println(v) // 1 2 3 } } // 正確示例 func main() { x := []string{"a", "b", "c"} for _, v := range x { // 使用 _ 丟棄索引 fmt.Println(v) } }
14. slice 和 array 其實是一維數據
看起來 Go 支持多維的 array 和 slice,可以創建數組的數組、切片的切片,但其實並不是。
對依賴動態計算多維數組值的應用來說,就性能和復雜度而言,用 Go 實現的效果並不理想。
可以使用原始的一維數組、“獨立“ 的切片、“共享底層數組”的切片來創建動態的多維數組。
- 使用原始的一維數組:要做好索引檢查、溢出檢測、以及當數組滿時再添加值時要重新做內存分配。
- 使用“獨立”的切片分兩步:
-
創建外部 slice
- 對每個內部 slice 進行內存分配
注意內部的 slice 相互獨立,使得任一內部 slice 增縮都不會影響到其他的 slice
- 對每個內部 slice 進行內存分配
// 使用各自獨立的 6 個 slice 來創建 [2][3] 的動態多維數組 func main() { x := 2 y := 4 table := make([][]int, x) for i := range table { table[i] = make([]int, y) } }
- 使用“共享底層數組”的切片
- 創建一個存放原始數據的容器 slice
- 創建其他的 slice
- 切割原始 slice 來初始化其他的 slice
func main() { h, w := 2, 4 raw := make([]int, h*w) for i := range raw { raw[i] = i } // 初始化原始 slice fmt.Println(raw, &raw[4]) // [0 1 2 3 4 5 6 7] 0xc420012120 table := make([][]int, h) for i := range table { // 等間距切割原始 slice,創建動態多維數組 table // 0: raw[0*4: 0*4 + 4] // 1: raw[1*4: 1*4 + 4] table[i] = raw[i*w : i*w + w] } fmt.Println(table, &table[1][0]) // [[0 1 2 3] [4 5 6 7]] 0xc420012120 }
更多關於多維數組的參考
go-how-is-two-dimensional-arrays-memory-representation
what-is-a-concise-way-to-create-a-2d-slice-in-go
15. 訪問 map 中不存在的 key
和其他編程語言類似,如果訪問了 map 中不存在的 key 則希望能返回 nil,比如在 PHP 中:
> php -r '$v = ["x"=>1, "y"=>2]; @var_dump($v["z"]);' NULL
Go 則會返回元素對應數據類型的零值,比如 nil
、''
、false
和 0,取值操作總有值返回,故不能通過取出來的值來判斷 key 是不是在 map 中。
檢查 key 是否存在可以用 map 直接訪問,檢查返回的第二個參數即可:
// 錯誤的 key 檢測方式 func main() { x := map[string]string{"one": "2", "two": "", "three": "3"} if v := x["two"]; v == "" { fmt.Println("key two is no entry") // 鍵 two 存不存在都會返回的空字符串 } } // 正確示例 func main() { x := map[string]string{"one": "2", "two": "", "three": "3"} if _, ok := x["two"]; !ok { fmt.Println("key two is no entry") } }
16. string 類型的值是常量,不可更改
嘗試使用索引遍歷字符串,來更新字符串中的個別字符,是不允許的。
string 類型的值是只讀的二進制 byte slice,如果真要修改字符串中的字符,將 string 轉為 []byte 修改后,再轉為 string 即可:
// 修改字符串的錯誤示例 func main() { x := "text" x[0] = "T" // error: cannot assign to x[0] fmt.Println(x) } // 修改示例 func main() { x := "text" xBytes := []byte(x) xBytes[0] = 'T' // 注意此時的 T 是 rune 類型 x = string(xBytes) fmt.Println(x) // Text }
注意: 上邊的示例並不是更新字符串的正確姿勢,因為一個 UTF8 編碼的字符可能會占多個字節,比如漢字就需要 3~4 個字節來存儲,此時更新其中的一個字節是錯誤的。
更新字串的正確姿勢:將 string 轉為 rune slice(此時 1 個 rune 可能占多個 byte),直接更新 rune 中的字符
func main() { x := "text" xRunes := []rune(x) xRunes[0] = '我' x = string(xRunes) fmt.Println(x) // 我ext }
17. string 與 byte slice 之間的轉換
當進行 string 和 byte slice 相互轉換時,參與轉換的是拷貝的原始值。這種轉換的過程,與其他編程語的強制類型轉換操作不同,也和新 slice 與舊 slice 共享底層數組不同。
Go 在 string 與 byte slice 相互轉換上優化了兩點,避免了額外的內存分配:
- 在
map[string]
中查找 key 時,使用了對應的[]byte
,避免做m[string(key)]
的內存分配 - 使用
for range
迭代 string 轉換為 []byte 的迭代:for i,v := range []byte(str) {...}
霧:參考原文
18. string 與索引操作符
對字符串用索引訪問返回的不是字符,而是一個 byte 值。
這種處理方式和其他語言一樣,比如 PHP 中:
> php -r '$name="中文"; var_dump($name);' # "中文" 占用 6 個字節 string(6) "中文" > php -r '$name="中文"; var_dump($name[0]);' # 把第一個字節當做 Unicode 字符讀取,顯示 U+FFFD string(1) "�" > php -r '$name="中文"; var_dump($name[0].$name[1].$name[2]);' string(3) "中"
func main() { x := "ascii" fmt.Println(x[0]) // 97 fmt.Printf("%T\n", x[0])// uint8 }
如果需要使用 for range
迭代訪問字符串中的字符(unicode code point / rune),標准庫中有 "unicode/utf8"
包來做 UTF8 的相關解碼編碼。另外 utf8string 也有像 func (s *String) At(i int) rune
等很方便的庫函數。
19. 字符串並不都是 UTF8 文本
string 的值不必是 UTF8 文本,可以包含任意的值。只有字符串是文字字面值時才是 UTF8 文本,字串可以通過轉義來包含其他數據。
判斷字符串是否是 UTF8 文本,可使用 "unicode/utf8" 包中的 ValidString()
函數:
func main() { str1 := "ABC" fmt.Println(utf8.ValidString(str1)) // true str2 := "A\xfeC" fmt.Println(utf8.ValidString(str2)) // false str3 := "A\\xfeC" fmt.Println(utf8.ValidString(str3)) // true // 把轉義字符轉義成字面值 }
20. 字符串的長度
在 Python 中:
data = u'♥' print(len(data)) # 1
然而在 Go 中:
func main() { char := "♥" fmt.Println(len(char)) // 3 }
Go 的內建函數 len()
返回的是字符串的 byte 數量,而不是像 Python 中那樣是計算 Unicode 字符數。
如果要得到字符串的字符數,可使用 "unicode/utf8" 包中的 RuneCountInString(str string) (n int)
func main() { char := "♥" fmt.Println(utf8.RuneCountInString(char)) // 1 }
注意: RuneCountInString
並不總是返回我們看到的字符數,因為有的字符會占用 2 個 rune:
func main() { char := "é" fmt.Println(len(char)) // 3 fmt.Println(utf8.RuneCountInString(char)) // 2 fmt.Println("cafe\u0301") // café // 法文的 cafe,實際上是兩個 rune 的組合 }
21. 在多行 array、slice、map 語句中缺少 ,
號
func main() { x := []int { 1, 2 // syntax error: unexpected newline, expecting comma or } } y := []int{1,2,} z := []int{1,2} // ... }
聲明語句中 }
折疊到單行后,尾部的 ,
不是必需的。
22. log.Fatal
和 log.Panic
不只是 log
log 標准庫提供了不同的日志記錄等級,與其他語言的日志庫不同,Go 的 log 包在調用 Fatal*()
、Panic*()
時能做更多日志外的事,如中斷程序的執行等:
func main() { log.Fatal("Fatal level log: log entry") // 輸出信息后,程序終止執行 log.Println("Nomal level log: log entry") }
23. 對內建數據結構的操作並不是同步的
盡管 Go 本身有大量的特性來支持並發,但並不保證並發的數據安全,用戶需自己保證變量等數據以原子操作更新。
goroutine 和 channel 是進行原子操作的好方法,或使用 "sync" 包中的鎖。
24. range 迭代 string 得到的值
range 得到的索引是字符值(Unicode point / rune)第一個字節的位置,與其他編程語言不同,這個索引並不直接是字符在字符串中的位置。
注意一個字符可能占多個 rune,比如法文單詞 café 中的 é。操作特殊字符可使用norm 包。
for range 迭代會嘗試將 string 翻譯為 UTF8 文本,對任何無效的碼點都直接使用 0XFFFD rune(�)UNicode 替代字符來表示。如果 string 中有任何非 UTF8 的數據,應將 string 保存為 byte slice 再進行操作。
func main() { data := "A\xfe\x02\xff\x04" for _, v := range data { fmt.Printf("%#x ", v) // 0x41 0xfffd 0x2 0xfffd 0x4 // 錯誤 } for _, v := range []byte(data) { fmt.Printf("%#x ", v) // 0x41 0xfe 0x2 0xff 0x4 // 正確 } }
25. range 迭代 map
如果你希望以特定的順序(如按 key 排序)來迭代 map,要注意每次迭代都可能產生不一樣的結果。
Go 的運行時是有意打亂迭代順序的,所以你得到的迭代結果可能不一致。但也並不總會打亂,得到連續相同的 5 個迭代結果也是可能的,如:
func main() { m := map[string]int{"one": 1, "two": 2, "three": 3, "four": 4} for k, v := range m { fmt.Println(k, v) } }
如果你去 Go Playground 重復運行上邊的代碼,輸出是不會變的,只有你更新代碼它才會重新編譯。重新編譯后迭代順序是被打亂的:
26. switch 中的 fallthrough 語句
switch
語句中的 case
代碼塊會默認帶上 break,但可以使用 fallthrough
來強制執行下一個 case 代碼塊。
func main() { isSpace := func(char byte) bool { switch char { case ' ': // 空格符會直接 break,返回 false // 和其他語言不一樣 // fallthrough // 返回 true case '\t': return true } return false } fmt.Println(isSpace('\t')) // true fmt.Println(isSpace(' ')) // false }
不過你可以在 case 代碼塊末尾使用 fallthrough
,強制執行下一個 case 代碼塊。
也可以改寫 case 為多條件判斷:
func main() { isSpace := func(char byte) bool { switch char { case ' ', '\t': return true } return false } fmt.Println(isSpace('\t')) // true fmt.Println(isSpace(' ')) // true }
27. 自增和自減運算
很多編程語言都自帶前置后置的 ++
、--
運算。但 Go 特立獨行,去掉了前置操作,同時 ++
、—
只作為運算符而非表達式。
// 錯誤示例 func main() { data := []int{1, 2, 3} i := 0 ++i // syntax error: unexpected ++, expecting } fmt.Println(data[i++]) // syntax error: unexpected ++, expecting : } // 正確示例 func main() { data := []int{1, 2, 3} i := 0 i++ fmt.Println(data[i]) // 2 }
28. 按位取反
很多編程語言使用 ~
作為一元按位取反(NOT)操作符,Go 重用 ^
XOR 操作符來按位取反:
// 錯誤的取反操作 func main() { fmt.Println(~2) // bitwise complement operator is ^ } // 正確示例 func main() { var d uint8 = 2 fmt.Printf("%08b\n", d) // 00000010 fmt.Printf("%08b\n", ^d) // 11111101 }
同時 ^
也是按位異或(XOR)操作符。
一個操作符能重用兩次,是因為一元的 NOT 操作 NOT 0x02
,與二元的 XOR 操作 0x22 XOR 0xff
是一致的。
Go 也有特殊的操作符 AND NOT &^
操作符,不同位才取1。
func main() { var a uint8 = 0x82 var b uint8 = 0x02 fmt.Printf("%08b [A]\n", a) fmt.Printf("%08b [B]\n", b) fmt.Printf("%08b (NOT B)\n", ^b) fmt.Printf("%08b ^ %08b = %08b [B XOR 0xff]\n", b, 0xff, b^0xff) fmt.Printf("%08b ^ %08b = %08b [A XOR B]\n", a, b, a^b) fmt.Printf("%08b & %08b = %08b [A AND B]\n", a, b, a&b) fmt.Printf("%08b &^%08b = %08b [A 'AND NOT' B]\n", a, b, a&^b) fmt.Printf("%08b&(^%08b)= %08b [A AND (NOT B)]\n", a, b, a&(^b)) }
10000010 [A] 00000010 [B] 11111101 (NOT B) 00000010 ^ 11111111 = 11111101 [B XOR 0xff] 10000010 ^ 00000010 = 10000000 [A XOR B] 10000010 & 00000010 = 00000010 [A AND B] 10000010 &^00000010 = 10000000 [A 'AND NOT' B] 10000010&(^00000010)= 10000000 [A AND (NOT B)]
29. 運算符的優先級
除了位清除(bit clear)操作符,Go 也有很多和其他語言一樣的位操作符,但優先級另當別論。
func main() { fmt.Printf("0x2 & 0x2 + 0x4 -> %#x\n", 0x2&0x2+0x4) // & 優先 + //prints: 0x2 & 0x2 + 0x4 -> 0x6 //Go: (0x2 & 0x2) + 0x4 //C++: 0x2 & (0x2 + 0x4) -> 0x2 fmt.Printf("0x2 + 0x2 << 0x1 -> %#x\n", 0x2+0x2<<0x1) // << 優先 + //prints: 0x2 + 0x2 << 0x1 -> 0x6 //Go: 0x2 + (0x2 << 0x1) //C++: (0x2 + 0x2) << 0x1 -> 0x8 fmt.Printf("0xf | 0x2 ^ 0x2 -> %#x\n", 0xf|0x2^0x2) // | 優先 ^ //prints: 0xf | 0x2 ^ 0x2 -> 0xd //Go: (0xf | 0x2) ^ 0x2 //C++: 0xf | (0x2 ^ 0x2) -> 0xf }
優先級列表:
Precedence Operator
5 * / % << >> & &^ 4 + - | ^ 3 == != < <= > >= 2 && 1 ||
30. 不導出的 struct 字段無法被 encode
以小寫字母開頭的字段成員是無法被外部直接訪問的,所以 struct
在進行 json、xml、gob 等格式的 encode 操作時,這些私有字段會被忽略,導出時得到零值:
func main() { in := MyData{1, "two"} fmt.Printf("%#v\n", in) // main.MyData{One:1, two:"two"} encoded, _ := json.Marshal(in) fmt.Println(string(encoded)) // {"One":1} // 私有字段 two 被忽略了 var out MyData json.Unmarshal(encoded, &out) fmt.Printf("%#v\n", out) // main.MyData{One:1, two:""} }
31. 程序退出時還有 goroutine 在執行
程序默認不等所有 goroutine 都執行完才退出,這點需要特別注意:
// 主程序會直接退出 func main() { workerCount := 2 for i := 0; i < workerCount; i++ { go doIt(i) } time.Sleep(1 * time.Second) fmt.Println("all done!") } func doIt(workerID int) { fmt.Printf("[%v] is running\n", workerID) time.Sleep(3 * time.Second) // 模擬 goroutine 正在執行 fmt.Printf("[%v] is done\n", workerID) }
如下,main()
主程序不等兩個 goroutine 執行完就直接退出了:
常用解決辦法:使用 "WaitGroup" 變量,它會讓主程序等待所有 goroutine 執行完畢再退出。
如果你的 goroutine 要做消息的循環處理等耗時操作,可以向它們發送一條 kill
消息來關閉它們。或直接關閉一個它們都等待接收數據的 channel:
// 等待所有 goroutine 執行完畢 // 進入死鎖 func main() { var wg sync.WaitGroup done := make(chan struct{}) workerCount := 2 for i := 0; i < workerCount; i++ { wg.Add(1) go doIt(i, done, wg) } close(done) wg.Wait() fmt.Println("all done!") } func doIt(workerID int, done <-chan struct{}, wg sync.WaitGroup) { fmt.Printf("[%v] is running\n", workerID) defer wg.Done() <-done fmt.Printf("[%v] is done\n", workerID) }
執行結果:
看起來好像 goroutine 都執行完了,然而報錯:
fatal error: all goroutines are asleep - deadlock!
為什么會發生死鎖?goroutine 在退出前調用了 wg.Done()
,程序應該正常退出的。
原因是 goroutine 得到的 "WaitGroup" 變量是 var wg WaitGroup
的一份拷貝值,即 doIt()
傳參只傳值。所以哪怕在每個 goroutine 中都調用了 wg.Done()
, 主程序中的 wg
變量並不會受到影響。
// 等待所有 goroutine 執行完畢 // 使用傳址方式為 WaitGroup 變量傳參 // 使用 channel 關閉 goroutine func main() { var wg sync.WaitGroup done := make(chan struct{}) ch := make(chan interface{}) workerCount := 2 for i := 0; i < workerCount; i++ { wg.Add(1) go doIt(i, ch, done, &wg) // wg 傳指針,doIt() 內部會改變 wg 的值 } for i := 0; i < workerCount; i++ { // 向 ch 中發送數據,關閉 goroutine ch <- i } close(done) wg.Wait() close(ch) fmt.Println("all done!") } func doIt(workerID int, ch <-chan interface{}, done <-chan struct{}, wg *sync.WaitGroup) { fmt.Printf("[%v] is running\n", workerID) defer wg.Done() for { select { case m := <-ch: fmt.Printf("[%v] m => %v\n", workerID, m) case <-done: fmt.Printf("[%v] is done\n", workerID) return } } }
運行效果:
32. 向無緩沖的 channel 發送數據,只要 receiver 准備好了就會立刻返回
只有在數據被 receiver 處理時,sender 才會阻塞。因運行環境而異,在 sender 發送完數據后,receiver 的 goroutine 可能沒有足夠的時間處理下一個數據。如:
func main() { ch := make(chan string) go func() { for m := range ch { fmt.Println("Processed:", m) time.Sleep(1 * time.Second) // 模擬需要長時間運行的操作 } }() ch <- "cmd.1" ch <- "cmd.2" // 不會被接收處理 }
運行效果:
33. 向已關閉的 channel 發送數據會造成 panic
從已關閉的 channel 接收數據是安全的:
接收狀態值 ok
是 false
時表明 channel 中已沒有數據可以接收了。類似的,從有緩沖的 channel 中接收數據,緩存的數據獲取完再沒有數據可取時,狀態值也是 false
向已關閉的 channel 中發送數據會造成 panic:
func main() { ch := make(chan int) for i := 0; i < 3; i++ { go func(idx int) { ch <- idx }(i) } fmt.Println(<-ch) // 輸出第一個發送的值 close(ch) // 不能關閉,還有其他的 sender time.Sleep(2 * time.Second) // 模擬做其他的操作 }
運行結果:
針對上邊有 bug 的這個例子,可使用一個廢棄 channel done
來告訴剩余的 goroutine 無需再向 ch 發送數據。此時 <- done
的結果是 {}
:
func main() { ch := make(chan int) done := make(chan struct{}) for i := 0; i < 3; i++ { go func(idx int) { select { case ch <- (idx + 1) * 2: fmt.Println(idx, "Send result") case <-done: fmt.Println(idx, "Exiting") } }(i) } fmt.Println("Result: ", <-ch) close(done) time.Sleep(3 * time.Second) }
運行效果:
34. 使用了值為 nil
的 channel
在一個值為 nil 的 channel 上發送和接收數據將永久阻塞:
func main() { var ch chan int // 未初始化,值為 nil for i := 0; i < 3; i++ { go func(i int) { ch <- i }(i) } fmt.Println("Result: ", <-ch) time.Sleep(2 * time.Second) }
runtime 死鎖錯誤:
fatal error: all goroutines are asleep - deadlock!
goroutine 1 [chan receive (nil chan)]
利用這個死鎖的特性,可以用在 select 中動態的打開和關閉 case 語句塊:
func main() { inCh := make(chan int) outCh := make(chan int) go func() { var in <-chan int = inCh var out chan<- int var val int for { select { case out <- val: println("--------") out = nil in = inCh case val = <-in: println("++++++++++") out = outCh in = nil } } }() go func() { for r := range outCh { fmt.Println("Result: ", r) } }() time.Sleep(0) inCh <- 1 inCh <- 2 time.Sleep(3 * time.Second) }
運行效果:
34. 若函數 receiver 傳參是傳值方式,則無法修改參數的原有值
方法 receiver 的參數與一般函數的參數類似:如果聲明為值,那方法體得到的是一份參數的值拷貝,此時對參數的任何修改都不會對原有值產生影響。
除非 receiver 參數是 map 或 slice 類型的變量,並且是以指針方式更新 map 中的字段、slice 中的元素的,才會更新原有值:
type data struct { num int key *string items map[string]bool } func (this *data) pointerFunc() { this.num = 7 } func (this data) valueFunc() { this.num = 8 *this.key = "valueFunc.key" this.items["valueFunc"] = true } func main() { key := "key1" d := data{1, &key, make(map[string]bool)} fmt.Printf("num=%v key=%v items=%v\n", d.num, *d.key, d.items) d.pointerFunc() // 修改 num 的值為 7 fmt.Printf("num=%v key=%v items=%v\n", d.num, *d.key, d.items) d.valueFunc() // 修改 key 和 items 的值 fmt.Printf("num=%v key=%v items=%v\n", d.num, *d.key, d.items) }
運行結果:
中級篇:35-50
35. 關閉 HTTP 的響應體
使用 HTTP 標准庫發起請求、獲取響應時,即使你不從響應中讀取任何數據或響應為空,都需要手動關閉響應體。新手很容易忘記手動關閉,或者寫在了錯誤的位置:
// 請求失敗造成 panic func main() { resp, err := http.Get("https://api.ipify.org?format=json") defer resp.Body.Close() // resp 可能為 nil,不能讀取 Body if err != nil { fmt.Println(err) return } body, err := ioutil.ReadAll(resp.Body) checkError(err) fmt.Println(string(body)) } func checkError(err error) { if err != nil{ log.Fatalln(err) } }
上邊的代碼能正確發起請求,但是一旦請求失敗,變量 resp
值為 nil
,造成 panic:
panic: runtime error: invalid memory address or nil pointer dereference
應該先檢查 HTTP 響應錯誤為 nil
,再調用 resp.Body.Close()
來關閉響應體:
// 大多數情況正確的示例 func main() { resp, err := http.Get("https://api.ipify.org?format=json") checkError(err) defer resp.Body.Close() // 絕大多數情況下的正確關閉方式 body, err := ioutil.ReadAll(resp.Body) checkError(err) fmt.Println(string(body)) }
輸出:
Get https://api.ipify.org?format=...: x509: certificate signed by unknown authority
絕大多數請求失敗的情況下,resp
的值為 nil
且 err
為 non-nil
。但如果你得到的是重定向錯誤,那它倆的值都是 non-nil
,最后依舊可能發生內存泄露。2 個解決辦法:
- 可以直接在處理 HTTP 響應錯誤的代碼塊中,直接關閉非 nil 的響應體。
- 手動調用
defer
來關閉響應體:
// 正確示例 func main() { resp, err := http.Get("http://www.baidu.com") // 關閉 resp.Body 的正確姿勢 if resp != nil { defer resp.Body.Close() } checkError(err) defer resp.Body.Close() body, err := ioutil.ReadAll(resp.Body) checkError(err) fmt.Println(string(body)) }
resp.Body.Close()
早先版本的實現是讀取響應體的數據之后丟棄,保證了 keep-alive 的 HTTP 連接能重用處理不止一個請求。但 Go 的最新版本將讀取並丟棄數據的任務交給了用戶,如果你不處理,HTTP 連接可能會直接關閉而非重用,參考在 Go 1.5 版本文檔。
如果程序大量重用 HTTP 長連接,你可能要在處理響應的邏輯代碼中加入:
_, err = io.Copy(ioutil.Discard, resp.Body) // 手動丟棄讀取完畢的數據
如果你需要完整讀取響應,上邊的代碼是需要寫的。比如在解碼 API 的 JSON 響應數據:
json.NewDecoder(resp.Body).Decode(&data)
36. 關閉 HTTP 連接
一些支持 HTTP1.1 或 HTTP1.0 配置了 connection: keep-alive
選項的服務器會保持一段時間的長連接。但標准庫 "net/http" 的連接默認只在服務器主動要求關閉時才斷開,所以你的程序可能會消耗完 socket 描述符。解決辦法有 2 個,請求結束后:
- 直接設置請求變量的
Close
字段值為true
,每次請求結束后就會主動關閉連接。 - 設置 Header 請求頭部選項
Connection: close
,然后服務器返回的響應頭部也會有這個選項,此時 HTTP 標准庫會主動斷開連接。
// 主動關閉連接 func main() { req, err := http.NewRequest("GET", "http://golang.org", nil) checkError(err) req.Close = true //req.Header.Add("Connection", "close") // 等效的關閉方式 resp, err := http.DefaultClient.Do(req) if resp != nil { defer resp.Body.Close() } checkError(err) body, err := ioutil.ReadAll(resp.Body) checkError(err) fmt.Println(string(body)) }
你可以創建一個自定義配置的 HTTP transport 客戶端,用來取消 HTTP 全局的復用連接:
func main() { tr := http.Transport{DisableKeepAlives: true} client := http.Client{Transport: &tr} resp, err := client.Get("https://golang.google.cn/") if resp != nil { defer resp.Body.Close() } checkError(err) fmt.Println(resp.StatusCode) // 200 body, err := ioutil.ReadAll(resp.Body) checkError(err) fmt.Println(len(string(body))) }
根據需求選擇使用場景:
- 若你的程序要向同一服務器發大量請求,使用默認的保持長連接。
- 若你的程序要連接大量的服務器,且每台服務器只請求一兩次,那收到請求后直接關閉連接。或增加最大文件打開數
fs.file-max
的值。
37. 將 JSON 中的數字解碼為 interface 類型
在 encode/decode JSON 數據時,Go 默認會將數值當做 float64 處理,比如下邊的代碼會造成 panic:
func main() { var data = []byte(`{"status": 200}`) var result map[string]interface{} if err := json.Unmarshal(data, &result); err != nil { log.Fatalln(err) } fmt.Printf("%T\n", result["status"]) // float64 var status = result["status"].(int) // 類型斷言錯誤 fmt.Println("Status value: ", status) }
panic: interface conversion: interface {} is float64, not int
如果你嘗試 decode 的 JSON 字段是整型,你可以:
- 將 int 值轉為 float 統一使用
- 將 decode 后需要的 float 值轉為 int 使用
// 將 decode 的值轉為 int 使用 func main() { var data = []byte(`{"status": 200}`) var result map[string]interface{} if err := json.Unmarshal(data, &result); err != nil { log.Fatalln(err) } var status = uint64(result["status"].(float64)) fmt.Println("Status value: ", status) }
- 使用
Decoder
類型來 decode JSON 數據,明確表示字段的值類型
// 指定字段類型 func main() { var data = []byte(`{"status": 200}`) var result map[string]interface{} var decoder = json.NewDecoder(bytes.NewReader(data)) decoder.UseNumber() if err := decoder.Decode(&result); err != nil { log.Fatalln(err) } var status, _ = result["status"].(json.Number).Int64() fmt.Println("Status value: ", status) } // 你可以使用 string 來存儲數值數據,在 decode 時再決定按 int 還是 float 使用 // 將數據轉為 decode 為 string func main() { var data = []byte({"status": 200}) var result map[string]interface{} var decoder = json.NewDecoder(bytes.NewReader(data)) decoder.UseNumber() if err := decoder.Decode(&result); err != nil { log.Fatalln(err) } var status uint64 err := json.Unmarshal([]byte(result["status"].(json.Number).String()), &status); checkError(err) fmt.Println("Status value: ", status) }
- 使用 struct
類型將你需要的數據映射為數值型
// struct 中指定字段類型 func main() { var data = []byte(`{"status": 200}`) var result struct { Status uint64 `json:"status"` } err := json.NewDecoder(bytes.NewReader(data)).Decode(&result) checkError(err) fmt.Printf("Result: %+v", result) }
- 可以使用
struct
將數值類型映射為json.RawMessage
原生數據類型適用於如果 JSON 數據不着急 decode 或 JSON 某個字段的值類型不固定等情況:
// 狀態名稱可能是 int 也可能是 string,指定為 json.RawMessage 類型 func main() { records := [][]byte{ []byte(`{"status":200, "tag":"one"}`), []byte(`{"status":"ok", "tag":"two"}`), } for idx, record := range records { var result struct { StatusCode uint64 StatusName string Status json.RawMessage `json:"status"` Tag string `json:"tag"` } err := json.NewDecoder(bytes.NewReader(record)).Decode(&result) checkError(err) var name string err = json.Unmarshal(result.Status, &name) if err == nil { result.StatusName = name } var code uint64 err = json.Unmarshal(result.Status, &code) if err == nil { result.StatusCode = code } fmt.Printf("[%v] result => %+v\n", idx, result) } }
38. struct、array、slice 和 map 的值比較
可以使用相等運算符 ==
來比較結構體變量,前提是兩個結構體的成員都是可比較的類型:
type data struct { num int fp float32 complex complex64 str string char rune yes bool events <-chan string handler interface{} ref *byte raw [10]byte } func main() { v1 := data{} v2 := data{} fmt.Println("v1 == v2: ", v1 == v2) // true }
如果兩個結構體中有任意成員是不可比較的,將會造成編譯錯誤。注意數組成員只有在數組元素可比較時候才可比較。
type data struct { num int checks [10]func() bool // 無法比較 doIt func() bool // 無法比較 m map[string]string // 無法比較 bytes []byte // 無法比較 } func main() { v1 := data{} v2 := data{} fmt.Println("v1 == v2: ", v1 == v2) }
invalid operation: v1 == v2 (struct containing [10]func() bool cannot be compared)
Go 提供了一些庫函數來比較那些無法使用 ==
比較的變量,比如使用 "reflect" 包的 DeepEqual()
:
// 比較相等運算符無法比較的元素 func main() { v1 := data{} v2 := data{} fmt.Println("v1 == v2: ", reflect.DeepEqual(v1, v2)) // true m1 := map[string]string{"one": "a", "two": "b"} m2 := map[string]string{"two": "b", "one": "a"} fmt.Println("v1 == v2: ", reflect.DeepEqual(m1, m2)) // true s1 := []int{1, 2, 3} s2 := []int{1, 2, 3} // 注意兩個 slice 相等,值和順序必須一致 fmt.Println("v1 == v2: ", reflect.DeepEqual(s1, s2)) // true }
這種比較方式可能比較慢,根據你的程序需求來使用。DeepEqual()
還有其他用法:
func main() { var b1 []byte = nil b2 := []byte{} fmt.Println("b1 == b2: ", reflect.DeepEqual(b1, b2)) // false }
注意:
DeepEqual()
並不總適合於比較 slice
func main() { var str = "one" var in interface{} = "one" fmt.Println("str == in: ", reflect.DeepEqual(str, in)) // true v1 := []string{"one", "two"} v2 := []string{"two", "one"} fmt.Println("v1 == v2: ", reflect.DeepEqual(v1, v2)) // false data := map[string]interface{}{ "code": 200, "value": []string{"one", "two"}, } encoded, _ := json.Marshal(data) var decoded map[string]interface{} json.Unmarshal(encoded, &decoded) fmt.Println("data == decoded: ", reflect.DeepEqual(data, decoded)) // false }
如果要大小寫不敏感來比較 byte 或 string 中的英文文本,可以使用 "bytes" 或 "strings" 包的 ToUpper()
和 ToLower()
函數。比較其他語言的 byte 或 string,應使用 bytes.EqualFold()
和 strings.EqualFold()
如果 byte slice 中含有驗證用戶身份的數據(密文哈希、token 等),不應再使用 reflect.DeepEqual()
、bytes.Equal()
、 bytes.Compare()
。這三個函數容易對程序造成 timing attacks,此時應使用 "crypto/subtle" 包中的 subtle.ConstantTimeCompare()
等函數
reflect.DeepEqual()
認為空 slice 與 nil slice 並不相等,但注意byte.Equal()
會認為二者相等:
func main() { var b1 []byte = nil b2 := []byte{} // b1 與 b2 長度相等、有相同的字節序 // nil 與 slice 在字節上是相同的 fmt.Println("b1 == b2: ", bytes.Equal(b1, b2)) // true }
39. 從 panic 中恢復
在一個 defer 延遲執行的函數中調用 recover()
,它便能捕捉 / 中斷 panic
// 錯誤的 recover 調用示例 func main() { recover() // 什么都不會捕捉 panic("not good") // 發生 panic,主程序退出 recover() // 不會被執行 println("ok") } // 正確的 recover 調用示例 func main() { defer func() { fmt.Println("recovered: ", recover()) }() panic("not good") }
從上邊可以看出,recover()
僅在 defer 執行的函數中調用才會生效。
// 錯誤的調用示例 func main() { defer func() { doRecover() }() panic("not good") } func doRecover() { fmt.Println("recobered: ", recover()) }
recobered: <nil> panic: not good
40. 在 range 迭代 slice、array、map 時通過更新引用來更新元素
在 range 迭代中,得到的值其實是元素的一份值拷貝,更新拷貝並不會更改原來的元素,即是拷貝的地址並不是原有元素的地址:
func main() { data := []int{1, 2, 3} for _, v := range data { v *= 10 // data 中原有元素是不會被修改的 } fmt.Println("data: ", data) // data: [1 2 3] }
如果要修改原有元素的值,應該使用索引直接訪問:
func main() { data := []int{1, 2, 3} for i, v := range data { data[i] = v * 10 } fmt.Println("data: ", data) // data: [10 20 30] }
如果你的集合保存的是指向值的指針,需稍作修改。依舊需要使用索引訪問元素,不過可以使用 range 出來的元素直接更新原有值:
func main() { data := []*struct{ num int }{{1}, {2}, {3},} for _, v := range data { v.num *= 10 // 直接使用指針更新 } fmt.Println(data[0], data[1], data[2]) // &{10} &{20} &{30} }
41. slice 中隱藏的數據
從 slice 中重新切出新 slice 時,新 slice 會引用原 slice 的底層數組。如果跳了這個坑,程序可能會分配大量的臨時 slice 來指向原底層數組的部分數據,將導致難以預料的內存使用。
func get() []byte { raw := make([]byte, 10000) fmt.Println(len(raw), cap(raw), &raw[0]) // 10000 10000 0xc420080000 return raw[:3] // 重新分配容量為 10000 的 slice } func main() { data := get() fmt.Println(len(data), cap(data), &data[0]) // 3 10000 0xc420080000 }
可以通過拷貝臨時 slice 的數據,而不是重新切片來解決:
func get() (res []byte) { raw := make([]byte, 10000) fmt.Println(len(raw), cap(raw), &raw[0]) // 10000 10000 0xc420080000 res = make([]byte, 3) copy(res, raw[:3]) return } func main() { data := get() fmt.Println(len(data), cap(data), &data[0]) // 3 3 0xc4200160b8 }
42. Slice 中數據的誤用
舉個簡單例子,重寫文件路徑(存儲在 slice 中)
分割路徑來指向每個不同級的目錄,修改第一個目錄名再重組子目錄名,創建新路徑:
// 錯誤使用 slice 的拼接示例 func main() { path := []byte("AAAA/BBBBBBBBB") sepIndex := bytes.IndexByte(path, '/') // 4 println(sepIndex) dir1 := path[:sepIndex] dir2 := path[sepIndex+1:] println("dir1: ", string(dir1)) // AAAA println("dir2: ", string(dir2)) // BBBBBBBBB dir1 = append(dir1, "suffix"...) println("current path: ", string(path)) // AAAAsuffixBBBB path = bytes.Join([][]byte{dir1, dir2}, []byte{'/'}) println("dir1: ", string(dir1)) // AAAAsuffix println("dir2: ", string(dir2)) // uffixBBBB println("new path: ", string(path)) // AAAAsuffix/uffixBBBB // 錯誤結果 }
拼接的結果不是正確的 AAAAsuffix/BBBBBBBBB
,因為 dir1、 dir2 兩個 slice 引用的數據都是 path
的底層數組,第 13 行修改 dir1
同時也修改了 path
,也導致了 dir2
的修改
解決方法:
- 重新分配新的 slice 並拷貝你需要的數據
- 使用完整的 slice 表達式:
input[low:high:max]
,容量便調整為 max - low
// 使用 full slice expression func main() { path := []byte("AAAA/BBBBBBBBB") sepIndex := bytes.IndexByte(path, '/') // 4 dir1 := path[:sepIndex:sepIndex] // 此時 cap(dir1) 指定為4, 而不是先前的 16 dir2 := path[sepIndex+1:] dir1 = append(dir1, "suffix"...) path = bytes.Join([][]byte{dir1, dir2}, []byte{'/'}) println("dir1: ", string(dir1)) // AAAAsuffix println("dir2: ", string(dir2)) // BBBBBBBBB println("new path: ", string(path)) // AAAAsuffix/BBBBBBBBB }
第 6 行中第三個參數是用來控制 dir1 的新容量,再往 dir1 中 append 超額元素時,將分配新的 buffer 來保存。而不是覆蓋原來的 path 底層數組
43. 舊 slice
當你從一個已存在的 slice 創建新 slice 時,二者的數據指向相同的底層數組。如果你的程序使用這個特性,那需要注意 "舊"(stale) slice 問題。
某些情況下,向一個 slice 中追加元素而它指向的底層數組容量不足時,將會重新分配一個新數組來存儲數據。而其他 slice 還指向原來的舊底層數組。
// 超過容量將重新分配數組來拷貝值、重新存儲 func main() { s1 := []int{1, 2, 3} fmt.Println(len(s1), cap(s1), s1) // 3 3 [1 2 3 ] s2 := s1[1:] fmt.Println(len(s2), cap(s2), s2) // 2 2 [2 3] for i := range s2 { s2[i] += 20 } // 此時的 s1 與 s2 是指向同一個底層數組的 fmt.Println(s1) // [1 22 23] fmt.Println(s2) // [22 23] s2 = append(s2, 4) // 向容量為 2 的 s2 中再追加元素,此時將分配新數組來存 for i := range s2 { s2[i] += 10 } fmt.Println(s1) // [1 22 23] // 此時的 s1 不再更新,為舊數據 fmt.Println(s2) // [32 33 14] }
44. 類型聲明與方法
從一個現有的非 interface 類型創建新類型時,並不會繼承原有的方法:
// 定義 Mutex 的自定義類型 type myMutex sync.Mutex func main() { var mtx myMutex mtx.Lock() mtx.UnLock() }
mtx.Lock undefined (type myMutex has no field or method Lock)...
如果你需要使用原類型的方法,可將原類型以匿名字段的形式嵌到你定義的新 struct 中:
// 類型以字段形式直接嵌入 type myLocker struct { sync.Mutex } func main() { var locker myLocker locker.Lock() locker.Unlock() }
interface 類型聲明也保留它的方法集:
type myLocker sync.Locker func main() { var locker myLocker locker.Lock() locker.Unlock() }
45. 跳出 for-switch 和 for-select 代碼塊
沒有指定標簽的 break 只會跳出 switch/select 語句,若不能使用 return 語句跳出的話,可為 break 跳出標簽指定的代碼塊:
// break 配合 label 跳出指定代碼塊 func main() { loop: for { switch { case true: fmt.Println("breaking out...") //break // 死循環,一直打印 breaking out... break loop } } fmt.Println("out...") }
goto
雖然也能跳轉到指定位置,但依舊會再次進入 for-switch,死循環。
46. for 語句中的迭代變量與閉包函數
for 語句中的迭代變量在每次迭代中都會重用,即 for 中創建的閉包函數接收到的參數始終是同一個變量,在 goroutine 開始執行時都會得到同一個迭代值:
func main() { data := []string{"one", "two", "three"} for _, v := range data { go func() { fmt.Println(v) }() } time.Sleep(3 * time.Second) // 輸出 three three three }
最簡單的解決方法:無需修改 goroutine 函數,在 for 內部使用局部變量保存迭代值,再傳參:
func main() { data := []string{"one", "two", "three"} for _, v := range data { vCopy := v go func() { fmt.Println(vCopy) }() } time.Sleep(3 * time.Second) // 輸出 one two three }
另一個解決方法:直接將當前的迭代值以參數形式傳遞給匿名函數:
func main() { data := []string{"one", "two", "three"} for _, v := range data { go func(in string) { fmt.Println(in) }(v) } time.Sleep(3 * time.Second) // 輸出 one two three }
注意下邊這個稍復雜的 3 個示例區別:
type field struct { name string } func (p *field) print() { fmt.Println(p.name) } // 錯誤示例 func main() { data := []field{{"one"}, {"two"}, {"three"}} for _, v := range data { go v.print() } time.Sleep(3 * time.Second) // 輸出 three three three } // 正確示例 func main() { data := []field{{"one"}, {"two"}, {"three"}} for _, v := range data { v := v go v.print() } time.Sleep(3 * time.Second) // 輸出 one two three } // 正確示例 func main() { data := []*field{{"one"}, {"two"}, {"three"}} for _, v := range data { // 此時迭代值 v 是三個元素值的地址,每次 v 指向的值不同 go v.print() } time.Sleep(3 * time.Second) // 輸出 one two three }
47. defer 函數的參數值
對 defer 延遲執行的函數,它的參數會在聲明時候就會求出具體值,而不是在執行時才求值:
// 在 defer 函數中參數會提前求值 func main() { var i = 1 defer fmt.Println("result: ", func() int { return i * 2 }()) i++ }
result: 2
48. defer 函數的執行時機
對 defer 延遲執行的函數,會在調用它的函數結束時執行,而不是在調用它的語句塊結束時執行,注意區分開。
比如在一個長時間執行的函數里,內部 for 循環中使用 defer 來清理每次迭代產生的資源調用,就會出現問題:
// 命令行參數指定目錄名 // 遍歷讀取目錄下的文件 func main() { if len(os.Args) != 2 { os.Exit(1) } dir := os.Args[1] start, err := os.Stat(dir) if err != nil || !start.IsDir() { os.Exit(2) } var targets []string filepath.Walk(dir, func(fPath string, fInfo os.FileInfo, err error) error { if err != nil { return err } if !fInfo.Mode().IsRegular() { return nil } targets = append(targets, fPath) return nil }) for _, target := range targets { f, err := os.Open(target) if err != nil { fmt.Println("bad target:", target, "error:", err) //error:too many open files break } defer f.Close() // 在每次 for 語句塊結束時,不會關閉文件資源 // 使用 f 資源 } }
先創建 10000 個文件:
#!/bin/bash for n in {1..10000}; do echo content > "file${n}.txt" done
運行效果:
解決辦法:defer 延遲執行的函數寫入匿名函數中:
// 目錄遍歷正常 func main() { // ... for _, target := range targets { func() { f, err := os.Open(target) if err != nil { fmt.Println("bad target:", target, "error:", err) return // 在匿名函數內使用 return 代替 break 即可 } defer f.Close() // 匿名函數執行結束,調用關閉文件資源 // 使用 f 資源 }() } }
當然你也可以去掉 defer,在文件資源使用完畢后,直接調用 f.Close()
來關閉。
49. 失敗的類型斷言
在類型斷言語句中,斷言失敗則會返回目標類型的“零值”,斷言變量與原來變量混用可能出現異常情況:
// 錯誤示例 func main() { var data interface{} = "great" // data 混用 if data, ok := data.(int); ok { fmt.Println("[is an int], data: ", data) } else { fmt.Println("[not an int], data: ", data) // [isn't a int], data: 0 } } // 正確示例 func main() { var data interface{} = "great" if res, ok := data.(int); ok { fmt.Println("[is an int], data: ", res) } else { fmt.Println("[not an int], data: ", data) // [not an int], data: great } }
50. 阻塞的 gorutinue 與資源泄露
在 2012 年 Google I/O 大會上,Rob Pike 的 Go Concurrency Patterns 演講討論 Go 的幾種基本並發模式,如 完整代碼 中從數據集中獲取第一條數據的函數:
func First(query string, replicas []Search) Result { c := make(chan Result) replicaSearch := func(i int) { c <- replicas[i](query) } for i := range replicas { go replicaSearch(i) } return <-c }
在搜索重復時依舊每次都起一個 goroutine 去處理,每個 goroutine 都把它的搜索結果發送到結果 channel 中,channel 中收到的第一條數據會直接返回。
返回完第一條數據后,其他 goroutine 的搜索結果怎么處理?他們自己的協程如何處理?
在 First()
中的結果 channel 是無緩沖的,這意味着只有第一個 goroutine 能返回,由於沒有 receiver,其他的 goroutine 會在發送上一直阻塞。如果你大量調用,則可能造成資源泄露。
為避免泄露,你應該確保所有的 goroutine 都能正確退出,有 2 個解決方法:
- 使用帶緩沖的 channel,確保能接收全部 goroutine 的返回結果:
func First(query string, replicas ...Search) Result { c := make(chan Result,len(replicas)) searchReplica := func(i int) { c <- replicas[i](query) } for i := range replicas { go searchReplica(i) } return <-c }
- 使用
select
語句,配合能保存一個緩沖值的 channeldefault
語句:default
的緩沖 channel 保證了即使結果 channel 收不到數據,也不會阻塞 goroutine
func First(query string, replicas ...Search) Result { c := make(chan Result,1) searchReplica := func(i int) { select { case c <- replicas[i](query): default: } } for i := range replicas { go searchReplica(i) } return <-c }
- 使用特殊的廢棄(cancellation) channel 來中斷剩余 goroutine 的執行:
func First(query string, replicas ...Search) Result { c := make(chan Result) done := make(chan struct{}) defer close(done) searchReplica := func(i int) { select { case c <- replicas[i](query): case <- done: } } for i := range replicas { go searchReplica(i) } return <-c }
Rob Pike 為了簡化演示,沒有提及演講代碼中存在的這些問題。不過對於新手來說,可能會不加思考直接使用。
高級篇:51-57
51. 使用指針作為方法的 receiver
只要值是可尋址的,就可以在值上直接調用指針方法。即是對一個方法,它的 receiver 是指針就足矣。
但不是所有值都是可尋址的,比如 map 類型的元素、通過 interface 引用的變量:
type data struct { name string } type printer interface { print() } func (p *data) print() { fmt.Println("name: ", p.name) } func main() { d1 := data{"one"} d1.print() // d1 變量可尋址,可直接調用指針 receiver 的方法 var in printer = data{"two"} in.print() // 類型不匹配 m := map[string]data{ "x": data{"three"}, } m["x"].print() // m["x"] 是不可尋址的 // 變動頻繁 }
cannot use data literal (type data) as type printer in assignment:data does not implement printer (print method has pointer receiver)
cannot call pointer method on m["x"]
cannot take the address of m["x"]
52. 更新 map 字段的值
如果 map 一個字段的值是 struct 類型,則無法直接更新該 struct 的單個字段:
// 無法直接更新 struct 的字段值 type data struct { name string } func main() { m := map[string]data{ "x": {"Tom"}, } m["x"].name = "Jerry" }
cannot assign to struct field m["x"].name in map
因為 map 中的元素是不可尋址的。需區分開的是,slice 的元素可尋址:
type data struct { name string } func main() { s := []data{{"Tom"}} s[0].name = "Jerry" fmt.Println(s) // [{Jerry}] }
注意:不久前 gccgo 編譯器可更新 map struct 元素的字段值,不過很快便修復了,官方認為是 Go1.3 的潛在特性,無需及時實現,依舊在 todo list 中。
更新 map 中 struct 元素的字段值,有 2 個方法:
- 使用局部變量
// 提取整個 struct 到局部變量中,修改字段值后再整個賦值 type data struct { name string } func main() { m := map[string]data{ "x": {"Tom"}, } r := m["x"] r.name = "Jerry" m["x"] = r fmt.Println(m) // map[x:{Jerry}] }
- 使用指向元素的 map 指針
func main() { m := map[string]*data{ "x": {"Tom"}, } m["x"].name = "Jerry" // 直接修改 m["x"] 中的字段 fmt.Println(m["x"]) // &{Jerry} }
但是要注意下邊這種誤用:
func main() { m := map[string]*data{ "x": {"Tom"}, } m["z"].name = "what???" fmt.Println(m["x"]) }
panic: runtime error: invalid memory address or nil pointer dereference
53. nil interface 和 nil interface 值
雖然 interface 看起來像指針類型,但它不是。interface 類型的變量只有在類型和值均為 nil 時才為 nil
如果你的 interface 變量的值是跟隨其他變量變化的(霧),與 nil 比較相等時小心:
func main() { var data *byte var in interface{} fmt.Println(data, data == nil) // <nil> true fmt.Println(in, in == nil) // <nil> true in = data fmt.Println(in, in == nil) // <nil> false // data 值為 nil,但 in 值不為 nil }
如果你的函數返回值類型是 interface,更要小心這個坑:
// 錯誤示例 func main() { doIt := func(arg int) interface{} { var result *struct{} = nil if arg > 0 { result = &struct{}{} } return result } if res := doIt(-1); res != nil { fmt.Println("Good result: ", res) // Good result: <nil> fmt.Printf("%T\n", res) // *struct {} // res 不是 nil,它的值為 nil fmt.Printf("%v\n", res) // <nil> } } // 正確示例 func main() { doIt := func(arg int) interface{} { var result *struct{} = nil if arg > 0 { result = &struct{}{} } else { return nil // 明確指明返回 nil } return result } if res := doIt(-1); res != nil { fmt.Println("Good result: ", res) } else { fmt.Println("Bad result: ", res) // Bad result: <nil> } }
54. 堆棧變量
你並不總是清楚你的變量是分配到了堆還是棧。
在 C++ 中使用 new
創建的變量總是分配到堆內存上的,但在 Go 中即使使用 new()
、make()
來創建變量,變量為內存分配位置依舊歸 Go 編譯器管。
Go 編譯器會根據變量的大小及其 "escape analysis" 的結果來決定變量的存儲位置,故能准確返回本地變量的地址,這在 C/C++ 中是不行的。
在 go build 或 go run 時,加入 -m 參數,能准確分析程序的變量分配位置:
55. GOMAXPROCS、Concurrency(並發)and Parallelism(並行)
Go 1.4 及以下版本,程序只會使用 1 個執行上下文 / OS 線程,即任何時間都最多只有 1 個 goroutine 在執行。
Go 1.5 版本將可執行上下文的數量設置為 runtime.NumCPU()
返回的邏輯 CPU 核心數,這個數與系統實際總的 CPU 邏輯核心數是否一致,取決於你的 CPU 分配給程序的核心數,可以使用 GOMAXPROCS
環境變量或者動態的使用 runtime.GOMAXPROCS()
來調整。
誤區:GOMAXPROCS
表示執行 goroutine 的 CPU 核心數,參考文檔
GOMAXPROCS
的值是可以超過 CPU 的實際數量的,在 1.5 中最大為 256
func main() { fmt.Println(runtime.GOMAXPROCS(-1)) // 4 fmt.Println(runtime.NumCPU()) // 4 runtime.GOMAXPROCS(20) fmt.Println(runtime.GOMAXPROCS(-1)) // 20 runtime.GOMAXPROCS(300) fmt.Println(runtime.GOMAXPROCS(-1)) // Go 1.9.2 // 300 }
56. 讀寫操作的重新排序
Go 可能會重排一些操作的執行順序,可以保證在一個 goroutine 中操作是順序執行的,但不保證多 goroutine 的執行順序:
var _ = runtime.GOMAXPROCS(3) var a, b int func u1() { a = 1 b = 2 } func u2() { a = 3 b = 4 } func p() { println(a) println(b) } func main() { go u1() // 多個 goroutine 的執行順序不定 go u2() go p() time.Sleep(1 * time.Second) }
運行效果:
如果你想保持多 goroutine 像代碼中的那樣順序執行,可以使用 channel 或 sync 包中的鎖機制等。
57. 優先調度
你的程序可能出現一個 goroutine 在運行時阻止了其他 goroutine 的運行,比如程序中有一個不讓調度器運行的 for
循環:
func main() { done := false go func() { done = true }() for !done { } println("done !") }
for
的循環體不必為空,但如果代碼不會觸發調度器執行,將出現問題。
調度器會在 GC、Go 聲明、阻塞 channel、阻塞系統調用和鎖操作后再執行,也會在非內聯函數調用時執行:
func main() { done := false go func() { done = true }() for !done { println("not done !") // 並不內聯執行 } println("done !") }
可以添加 -m
參數來分析 for
代碼塊中調用的內聯函數:
你也可以使用 runtime 包中的 Gosched()
來 手動啟動調度器:
func main() { done := false go func() { done = true }() for !done { runtime.Gosched() } println("done !") }
運行效果: