如何动态定位 CSV 文件中数据起始行并用 Pandas 正确读取-Python教程

本文介绍一种高效、无需预扫描文件的 python 方法：通过逐行遍历 csv 文件流，精准定位以特定列名（如 `[deal type]`）开头的首行，并将后续内容交由 pandas.read_csv 直接解析，避免重复读取或硬编码跳过行数。

在日常数据处理中，我们常遇到结构不规范的 CSV 文件——真正有效的表格数据并非从第一行开始，且头部“噪声”行数每日变动。例如，某日 CSV 文件前 15 行可能是报告标题、元信息、空行或分隔符，而实际数据表头始终以 [Deal Type] 开头（该字符串位于首列，且带方括号）。此时，skiprows=12 这类静态参数会失效，而先 open().readlines() 全量加载再找索引又浪费内存（尤其大文件）。

推荐做法是利用文件对象的迭代特性与 pandas 的流式兼容能力：打开文件后，逐行读取直至命中目标表头行；此时文件指针已自动停留在该行之后，直接将该文件对象传给 pd.read_csv() 即可——pandas 会从当前指针位置开始解析，天然支持“跳过前导段落”。

以下是完整可运行示例（使用 io.StringIO 模拟文件，生产环境替换为真实路径）：

import pandas as pd
import io

# 示例数据（模拟真实CSV文件内容）
raw_content = """Counterparty Name
ID Number

.
.

Asset
USD.HO
USD.LCO
USD.RB

Cpty:
Product:

[Deal Type],[Amount],[Currency]
D001,125000.00,USD
D002,87600.50,EUR
"""

# 关键逻辑：定位表头行并移交文件流给pandas
with io.StringIO(raw_content) as f:
    # 逐行扫描，找到以'[Deal Type]'开头的行（注意：需匹配完整前缀）
    for line in f:
        if line.strip().startswith('[Deal Type]'):
            break
    # 此时f的指针已在表头行之后，read_csv自动从此处读取
    df = pd.read_csv(f, skipinitialspace=True)  # skipinitialspace处理空格分隔符干扰

print(df)

输出：