Python 流式处理网络数据的正确方式-Python教程

用 requests.iter_content() 流式处理大响应体,需设 stream=True、合理 chunk_size,JSON 流需逐段解码,注意服务端分块规范与 Nginx 缓冲配置,高并发推荐 aiohttp 而非多线程 requests。

用 requests.iter_content() 处理大响应体,别用 .text 或 .json()

一旦响应体超过几 MB,用 .text 或 .json() 会把整个响应加载进内存,容易触发 MemoryError,尤其在低配容器或边缘设备上。流式处理的核心是「边收边用」,不攒全量。

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • requests.get(url, stream=True) 必须显式传 stream=True,否则 iter_content() 退化为一次性读取
  • 用 r.iter_content(chunk_size=8192) 按固定块读取,chunk_size 设为 4KB–64KB 较稳妥;太小增加系统调用开销,太大削弱流控效果
  • 若需解析 JSON 流(如服务端 SSE 或 NDJSON),不能直接 r.json(),得用 json.JSONDecoder().raw_decode() 逐段解码,或借助 ijson 库

遇到 ChunkedEncodingError 或连接提前关闭,检查服务端 Transfer-Encoding 和 keep-alive 策略

流式请求失败常不是客户端代码问题,而是服务端返回了不规范的分块编码、中途断连,或反向代理(如 Nginx)默认缓冲整个响应再转发。

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 加 timeout=(3.05, 30):短 connect timeout 防卡死,长 read timeout 容忍慢流
  • 手动设置 headers={'Connection': 'keep-alive'},避免某些网关误判为短连接
  • Nginx 场景下,在 location 块中加 proxy_buffering off; 和 proxy_cache off;,否则它会攒满缓冲区才吐给 Python

并发流式请求要用 aiohttp.ClientSession + async for,别套 ThreadPoolExecutor

用多线程跑多个 requests.get(..., stream=True) 看似并行,实则每个线程仍阻塞在 socket read 上,无法真正压满带宽,还易耗尽本地端口和文件描述符。

夏夕资源网专注于CMS网站模板,主流语言整站网站源码下载,网站建设相关教程分享,好用的软件素材整合下载,提供一站式便捷自助服务。
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
7. 如遇到加密压缩包,默认解压密码为"zy.lucklyus.top",如遇到无法解压的请联系管理员!
夏夕资源网-网站模板_免费源码_资源素材 » Python 流式处理网络数据的正确方式-Python教程
在线时间:12:00 - 22:00
关注微信公众号:微信公众号
站长邮箱:[email protected]
  • 运营天数: 1393+
  • 资源总数: 47989+
  • 用户总数: 1+
  • 今日更新: 0+
  • 访问次数: 4022920+
  • 本周更新: 0+
  • 最后更新: 2026-03-16

本站指数

×
  • 运营天数: 1393+
  • 资源总数: 47989+
  • 用户总数: 1+
  • 今日更新: 0+
  • 访问次数: 4022920+
  • 本周更新: 0+
  • 最后更新: 2026-03-16