本文详解 go 程序批量请求 hacker news api 时出现 `eof json` 错误的根本原因——服务端异常关闭 http 连接但未发送 `connection: close` 头,导致客户端复用已断开的连接;并提供两种可靠修复方案:手动设置 `req.close = true` 或禁用 http 连接复用。
在 Go 中批量请求多个 URL(如 Hacker News 的 /item/{id}.json 接口)时,若直接使用 http.Get() 循环调用,常会遇到类似 invalid character ‘E’ looking for beginning of value 或 unexpected end of JSON input(底层常伴随 EOF)的错误。这并非 JSON 数据本身损坏,而是 HTTP 连接管理问题:目标服务器(如 hacker-news.firebaseio.com)在返回响应后静默关闭 TCP 连接,却未按 HTTP/1.1 规范发送 Connection: close 响应头。Go 的默认 http.Client 依赖该头部判断是否复用连接;当它误以为连接仍可用而尝试复用时,下一次读取将立即遭遇 EOF,导致 ioutil.ReadAll 或 json.Unmarshal 失败。
✅ 正确解决方案
方案一:为每个请求显式关闭连接(推荐,粒度细、影响小)
修改 get() 函数,不使用 http.Get(),而是构造 http.Request 并设置 req.Close = true:
func get(url string) ([]byte, error) {
req, err := http.NewRequest("GET", url, nil)
if err != nil {
return nil, err
}
req.Close = true // 强制本次请求后关闭连接
client := &http.Client{}
res, err := client.Do(req)
if err != nil {
return nil, err
}
defer res.Body.Close() // 注意:务必 defer 关闭 Body!
return io.ReadAll(res.Body) // 替换 ioutil.ReadAll(已弃用)
}
⚠️ 注意:res.Body.Close() 必须被调用(此处用 defer),否则可能泄漏文件描述符;同时 io.ReadAll(Go 1.16+)替代已废弃的 ioutil.ReadAll。
方案二:全局禁用连接复用(适合调试或短生命周期程序)
在 main() 开始处配置自定义 http.Transport: