如何在Python中安全处理大文件并持久化读取进度（避免重复处理）-Python教程

python标准库不提供“读一行即删一行”的文件操作函数；为应对程序意外中断，推荐用独立进度文件记录已处理行号，重启时跳过已处理内容，兼顾效率与可靠性。

在实际数据处理任务中（如日志解析、批量API调用或ETL流程），常需逐行读取文本文件并确保每行仅被处理一次。但若程序因崩溃、断电或异常退出而中断，传统 readlines() + 全量重写的方式（如每次删除已读行）不仅I/O开销巨大，还存在数据丢失风险——尤其当写入中途失败时，原文件可能被清空或截断。

更健壮的解决方案是解耦“读取”与“状态记录”：不修改原始文件，而是将处理进度（如最新完成的行号）持久化到独立的小型元数据文件中。这样既保持源文件完整性，又实现故障恢复能力。

✅ 推荐实现：基于行号的进度追踪

以下是一个轻量、线程安全（单进程场景下）、可直接复用的处理函数：