如何在 Go 中安全并发请求多个 URL(避免 EOF JSON 错误)-Golang

本文详解 go 程序批量请求 hacker news api 时出现 `eof json` 错误的根本原因——服务端异常关闭 http 连接但未发送 `connection: close` 头,导致客户端复用已断开的连接;并提供两种可靠修复方案:手动设置 `req.close = true` 或禁用 http 连接复用。

在 Go 中批量请求多个 URL(如 Hacker News 的 /item/{id}.json 接口)时,若直接使用 http.Get() 循环调用,常会遇到类似 invalid character ‘E’ looking for beginning of value 或 unexpected end of JSON input(底层常伴随 EOF)的错误。这并非 JSON 数据本身损坏,而是 HTTP 连接管理问题:目标服务器(如 hacker-news.firebaseio.com)在返回响应后静默关闭 TCP 连接,却未按 HTTP/1.1 规范发送 Connection: close 响应头。Go 的默认 http.Client 依赖该头部判断是否复用连接;当它误以为连接仍可用而尝试复用时,下一次读取将立即遭遇 EOF,导致 ioutil.ReadAll 或 json.Unmarshal 失败。

✅ 正确解决方案

方案一:为每个请求显式关闭连接(推荐,粒度细、影响小)

修改 get() 函数,不使用 http.Get(),而是构造 http.Request 并设置 req.Close = true:

func get(url string) ([]byte, error) {
    req, err := http.NewRequest("GET", url, nil)
    if err != nil {
        return nil, err
    }
    req.Close = true // 强制本次请求后关闭连接

    client := &http.Client{}
    res, err := client.Do(req)
    if err != nil {
        return nil, err
    }
    defer res.Body.Close() // 注意:务必 defer 关闭 Body!

    return io.ReadAll(res.Body) // 替换 ioutil.ReadAll(已弃用)
}

⚠️ 注意:res.Body.Close() 必须被调用(此处用 defer),否则可能泄漏文件描述符;同时 io.ReadAll(Go 1.16+)替代已废弃的 ioutil.ReadAll。

方案二:全局禁用连接复用(适合调试或短生命周期程序)

在 main() 开始处配置自定义 http.Transport:

夏夕资源网专注于CMS网站模板,主流语言整站网站源码下载,网站建设相关教程分享,好用的软件素材整合下载,提供一站式便捷自助服务。
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
7. 如遇到加密压缩包,默认解压密码为"zy.lucklyus.top",如遇到无法解压的请联系管理员!
夏夕资源网-网站模板_免费源码_资源素材 » 如何在 Go 中安全并发请求多个 URL(避免 EOF JSON 错误)-Golang
在线时间:12:00 - 22:00
关注微信公众号:微信公众号
站长邮箱:[email protected]
  • 运营天数: 1392+
  • 资源总数: 47989+
  • 用户总数: 1+
  • 今日更新: 0+
  • 访问次数: 4001345+
  • 本周更新: 0+
  • 最后更新: 2026-03-16

本站指数

×
  • 运营天数: 1392+
  • 资源总数: 47989+
  • 用户总数: 1+
  • 今日更新: 0+
  • 访问次数: 4001345+
  • 本周更新: 0+
  • 最后更新: 2026-03-16