如何在Python中实现“读取即删除”式文件行处理（带断点续传）-Python教程

本文介绍python中模拟“读取即删除”文件行的实用方案，重点解决程序意外中断后恢复处理位置的问题，推荐使用进度文件跟踪法替代高频重写原文件，兼顾可靠性与性能。

在Python标准库中，并不存在原生支持“读取一行后自动删除该行”的文件管理函数——这并非设计疏漏，而是受限于底层文件系统特性：普通文本文件是顺序存储的连续字节流，删除中间某一行需重写其后的全部内容，无法做到真正的原子化“读删一体”。你当前采用的 readlines() + writelines() 方式虽能实现逻辑效果，但每次迭代都全量重写剩余内容，时间复杂度为 O(n²)，且在异常中断时极易导致数据丢失或文件截断，不适用于生产环境。

✅ 推荐方案：进度文件（Checkpoint File）跟踪法

核心思想是分离关注点：原文件保持只读、不可变；处理进度（如已处理行号）单独持久化。即使程序崩溃、断电，重启后也能精准定位到上一条成功处理的行，真正实现断点续传。

以下是一个健壮、可直接复用的实现：

def process_file_with_checkpoint(filepath: str, checkpoint_path: str) -> None:
    """
    逐行处理文本文件，支持崩溃恢复。

    Args:
        filepath: 待处理的源文件路径（只读）
        checkpoint_path: 进度记录文件路径（记录最后成功处理的行号，从1开始）
    """
    # 1. 读取上次中断位置
    try:
        with open(checkpoint_path, 'r') as f:
            last_line_num = int(f.read().strip())
        print(f"Resuming from line {last_line_num + 1}")
    except (FileNotFoundError, ValueError, OSError):
        last_line_num = 0  # 首次运行，从第1行开始

    # 2. 流式读取源文件（避免一次性加载大文件到内存）
    with open(filepath, 'r', encoding='utf-8') as f:
        for line_num, line in enumerate(f, start=1):
            if line_num <= last_line_num:
                continue  # 跳过已处理行

            try:
                # ▶️ 在此处添加你的业务逻辑（如解析、入库、调用API等）
                print(f"Processing line {line_num}: {line.rstrip()}")

                # 3. 关键：处理成功后立即更新进度（原子写入，降低丢失风险）
                with open(checkpoint_path, 'w') as cp_f:
                    cp_f.write(str(line_num))

            except Exception as e:
                print(f"Error processing line {line_num}: {e}")
                # 异常时不更新进度，下次启动将重试本行
                raise  # 可根据需求改为 log + continue

# 使用示例
if __name__ == "__main__":
    process_file_with_checkpoint("data.txt", "data.checkpoint")

⚠️ 关键注意事项

• 进度文件必须及时刷新：open(…, ‘w’) 后建议显式调用 os.fsync()（尤其在Linux/Unix系统）确保写入磁盘，避免缓存未落盘导致进度丢失：

  立即学习“Python免费学习笔记（深入）”；

  import os
  with open(checkpoint_path, 'w') as cp_f:
      cp_f.write(str(line_num))
      cp_f.flush()
      os.fsync(cp_f.fileno())  # 强制刷盘

• 避免竞态条件：若多进程并发处理同一文件，请改用数据库（如SQLite）或加锁机制（如 filelock 库），而非纯文件进度。