如何使用Golang实现并发爬虫_Golang并发爬虫优化与任务调度-Golang

核心是控制并发规模而非盲目启goroutine；用带缓冲chan作信号量（如sem := make(chan struct{}, 10)）限制同时活跃worker数，避免瞬间启动过多goroutine导致dns耗尽、连接超时或429错误。

Go 语言实现并发爬虫本身不难，难在控制并发规模、避免被封、处理任务失败与重试、以及调度逻辑不阻塞——核心不是“怎么开 goroutine”，而是“怎么管住它们”。

用 sync.WaitGroup + chan 控制并发数，别直接起几百个 goroutine

常见错误是遍历 URL 列表时对每个 URL 起一个 go crawl(url)，结果瞬间启动上千 goroutine，DNS 耗尽、连接超时、目标站直接 429。正确做法是用带缓冲的 chan 做信号量，限制同时活跃的 worker 数量：

示例关键结构：

sem := make(chan struct{}, 10) // 最多 10 并发
for _, url := range urls {
    sem <- struct{}{} // 阻塞直到有空位
    go func(u string) {
        defer func() { <-sem }() // 释放
        crawl(u)
    }(url)
}

注意：sem 必须是值传递或闭包捕获正确变量，否则所有 goroutine 共享同一 url；defer 位置必须在 goroutine 内部，不能放在外层循环里。

context.Context 是唯一靠谱的超时与取消机制

HTTP 请求、解析、甚至 DNS 查询都必须绑定 context.WithTimeout，否则单个卡死请求会拖垮整个 worker 池。别用 time.AfterFunc 或全局 timer 杀 goroutine——无法清理资源，且可能引发 panic。

典型用法：

ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
defer cancel()
req, _ := http.NewRequestWithContext(ctx, "GET", url, nil)
resp, err := client.Do(req)
if ctx.Err() == context.DeadlineExceeded {
    log.Printf("timeout on %s", url)
    return
}

所有下游调用（如 io.ReadAll、html.Parse）也应检查 ctx.Err()，尤其解析大页面时容易卡住。