虽然golang中协程开销很低，但是在一些情况下还是有必要限制一下协程的开启数，比如爬虫中的下载协程，因为受到带宽限制，开的多了也没有效果。本来想在网上找找有没协程池，类似其它语言线程池这样的东西，可以限制最大开启数。找了一番，这方面的资料非常少，难道golang不需要协程池这种东东？自己动手写一个吧。
要限制协程最大数量，就是考虑开启一个协程的时候记录一下，然后超过最大数就不再开启。可以考虑用一个变量count来记录协程开启数量，不过这种方式比较out了，golang中可以用channel来实现。
不限制的代码：
package@H_403_9@ main
import@H_403_9@ (
"fmt"@H_403_9@
"strconv"@H_403_9@
"time"@H_403_9@
)
// 模拟下载页面的方法@H_403_9@
func@H_403_9@ download(url string@H_403_9@) {
fmt.Println("download from "@H_403_9@,url)
}
func@H_403_9@ main() {
urls := [100@H_403_9@]string@H_403_9@{}
for@H_403_9@ i := 0@H_403_9@; i < 100@H_403_9@; i++ {
urls[i] = "url"@H_403_9@ + strconv.Itoa(i)
}
for@H_403_9@ i := 0@H_403_9@; i < len@H_403_9@(urls); i++ {
go@H_403_9@ download(urls[i])
}
// 休眠一下@H_403_9@
for@H_403_9@ {
time.Sleep(1@H_403_9@ * 1e9@H_403_9@)
}
}
根据url数量开启若干协程，每个协程会去下载页面内容，通常受到带宽的限制，协程开多了没有什么提升效果。
限制一下
package@H_403_9@ main
import@H_403_9@ (
"fmt"@H_403_9@
"strconv"@H_403_9@
"time"@H_403_9@
)
var@H_403_9@ (
maxRoutineNum = 10@H_403_9@
)
// 模拟下载页面的方法@H_403_9@
func@H_403_9@ download(url string@H_403_9@,ch chan@H_403_9@ int@H_403_9@) {
fmt.Println("download from "@H_403_9@,url)
// 休眠两秒模拟下载页面@H_403_9@
time.Sleep(2@H_403_9@ * 1e9@H_403_9@)
// 下载完成则从ch推出数据@H_403_9@
<-ch
}
func@H_403_9@ main() {
ch := make@H_403_9@(chan@H_403_9@ int@H_403_9@,maxRoutineNum)
urls := [100@H_403_9@]string@H_403_9@{}
for@H_403_9@ i := 0@H_403_9@; i < 100@H_403_9@; i++ {
urls[i] = "url"@H_403_9@ + strconv.Itoa(i)
}
for@H_403_9@ i := 0@H_403_9@; i < len@H_403_9@(urls); i++ {
// 开启下载协程前往ch塞一个数据@H_403_9@
// 如果ch满了则会处于阻塞，从而达到限制最大协程的功能@H_403_9@
ch <- 1@H_403_9@
go@H_403_9@ download(urls[i],ch)
}
// 休眠一下@H_403_9@
for@H_403_9@ {
time.Sleep(1@H_403_9@ * 1e9@H_403_9@)
}
}
主要就是用golang中channel的阻塞性和最大数量处理，可以考虑封装一下提供使用。
golang真的不需要协程池？
