package main
import (
"fmt"
"strconv"
"time"
)
var (
maxRoutineNum = 2
)
// 模擬下載頁面的方法
func download(url string, ch chan int) {
fmt.Println("download from ", url)
// 休眠兩秒模擬下載頁面
time.Sleep(2 * 1e9)
// 下載完成則從ch推出數據
i :=<-ch
fmt.Println(i)
}
func main() {
ch := make(chan int, maxRoutineNum)
urls := [10]string{}
for i := 0; i < 10; i++ {
urls[i] = "url" + strconv.Itoa(i)
}
for i := 0; i < len(urls); i++ {
// 開啟下載協程前往ch塞一個數據
// 如果ch滿了則會處於阻塞，從而達到限制最大協程的功能
go download(urls[i], ch)
ch <- 1 //放在后面是三個 放在下載之前,是兩個並發
}
}
雖然golang中協程開銷很低，但是在一些情況下還是有必要限制一下協程的開啟數，比如爬蟲中的下載協程，因為受到帶寬限制，開的多了也沒有效果。本來想在網上找找有沒協程池，類似其它語言線程池這樣的東西，可以限制最大開啟數。找了一番，這方面的資料非常少，難道golang不需要協程池這種東東？自己動手寫一個吧。
要限制協程最大數量，就是考慮開啟一個協程的時候記錄一下，然后超過最大數就不再開啟。可以考慮用一個變量count來記錄協程開啟數量，不過這種方式比較out了，golang中可以用channel來實現。
不限制的代碼：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
|
package
main
import
(
"fmt"
"strconv"
"time"
)
// 模擬下載頁面的方法
func
download(url string) {
fmt.Println(
"download from "
, url)
}
func
main() {
urls := [
100
]string{}
for
i :=
0
; i <
100
; i++ {
urls[i] =
"url"
+ strconv.Itoa(i)
}
for
i :=
0
; i < len(urls); i++ {
go
download(urls[i])
}
// 休眠一下
for
{
time.Sleep(
1
*
1e9
)
}
}
|
根據url數量開啟若干協程，每個協程會去下載頁面內容，通常受到帶寬的限制，協程開多了沒有什么提升效果。
限制一下
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
|
package
main
import
(
"fmt"
"strconv"
"time"
)
var
(
maxRoutineNum =
10
)
// 模擬下載頁面的方法
func
download(url string, ch chan int) {
fmt.Println(
"download from "
, url)
// 休眠兩秒模擬下載頁面
time.Sleep(
2
*
1e9
)
// 下載完成則從ch推出數據
<-ch
}
func
main() {
ch := make(chan int, maxRoutineNum)
urls := [
100
]string{}
for
i :=
0
; i <
100
; i++ {
urls[i] =
"url"
+ strconv.Itoa(i)
}
for
i :=
0
; i < len(urls); i++ {
// 開啟下載協程前往ch塞一個數據
// 如果ch滿了則會處於阻塞，從而達到限制最大協程的功能
ch <-
1
go
download(urls[i], ch)
}
// 休眠一下
for
{
time.Sleep(
1
*
1e9
)
}
}
|
主要就是用golang中channel的阻塞性和最大數量處理，可以考慮封裝一下提供使用。
golang真的不需要協程池？