package main
import (
"fmt"
"strconv"
"time"
)
var (
maxRoutineNum = 2
)
// 模拟下载页面的方法
func download(url string, ch chan int) {
fmt.Println("download from ", url)
// 休眠两秒模拟下载页面
time.Sleep(2 * 1e9)
// 下载完成则从ch推出数据
i :=<-ch
fmt.Println(i)
}
func main() {
ch := make(chan int, maxRoutineNum)
urls := [10]string{}
for i := 0; i < 10; i++ {
urls[i] = "url" + strconv.Itoa(i)
}
for i := 0; i < len(urls); i++ {
// 开启下载协程前往ch塞一个数据
// 如果ch满了则会处于阻塞，从而达到限制最大协程的功能
go download(urls[i], ch)
ch <- 1 //放在后面是三个 放在下载之前,是两个并发
}
}
虽然golang中协程开销很低，但是在一些情况下还是有必要限制一下协程的开启数，比如爬虫中的下载协程，因为受到带宽限制，开的多了也没有效果。本来想在网上找找有没协程池，类似其它语言线程池这样的东西，可以限制最大开启数。找了一番，这方面的资料非常少，难道golang不需要协程池这种东东？自己动手写一个吧。
要限制协程最大数量，就是考虑开启一个协程的时候记录一下，然后超过最大数就不再开启。可以考虑用一个变量count来记录协程开启数量，不过这种方式比较out了，golang中可以用channel来实现。
不限制的代码：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
|
package
main
import
(
"fmt"
"strconv"
"time"
)
// 模拟下载页面的方法
func
download(url string) {
fmt.Println(
"download from "
, url)
}
func
main() {
urls := [
100
]string{}
for
i :=
0
; i <
100
; i++ {
urls[i] =
"url"
+ strconv.Itoa(i)
}
for
i :=
0
; i < len(urls); i++ {
go
download(urls[i])
}
// 休眠一下
for
{
time.Sleep(
1
*
1e9
)
}
}
|
根据url数量开启若干协程，每个协程会去下载页面内容，通常受到带宽的限制，协程开多了没有什么提升效果。
限制一下
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
|
package
main
import
(
"fmt"
"strconv"
"time"
)
var
(
maxRoutineNum =
10
)
// 模拟下载页面的方法
func
download(url string, ch chan int) {
fmt.Println(
"download from "
, url)
// 休眠两秒模拟下载页面
time.Sleep(
2
*
1e9
)
// 下载完成则从ch推出数据
<-ch
}
func
main() {
ch := make(chan int, maxRoutineNum)
urls := [
100
]string{}
for
i :=
0
; i <
100
; i++ {
urls[i] =
"url"
+ strconv.Itoa(i)
}
for
i :=
0
; i < len(urls); i++ {
// 开启下载协程前往ch塞一个数据
// 如果ch满了则会处于阻塞，从而达到限制最大协程的功能
ch <-
1
go
download(urls[i], ch)
}
// 休眠一下
for
{
time.Sleep(
1
*
1e9
)
}
}
|
主要就是用golang中channel的阻塞性和最大数量处理，可以考虑封装一下提供使用。
golang真的不需要协程池？