本文介绍在 polars 中高效处理逐行数据流（如实时采集、流式解析）的最佳实践，重点对比列表累积、vstack 拼接等传统方式，推荐使用 lazyframe + `sink_csv` 流式落盘方案，并提供可直接运行的向量化批处理示例。
在实际数据工程场景中，常需从外部系统（传感器、API、日志流等）逐行获取原始数据，并经 decompose() 等函数解析为结构化特征，最终持久化为 CSV/Parquet 文件。此时，性能瓶颈往往不在于计算本身，而在于 DataFrame 构建与内存管理策略。下面我们将从效率、内存友好性与代码可维护性三方面，系统梳理最优解法。
❌ 不推荐：手动维护 Python 列表（低效但常见）
feature_a_list = []
feature_b_list = []
for row in generation_mechanism():
a, b = decompose(row)
feature_a_list.append(a)
feature_b_list.append(b)
# ... 最终构建 DataFrame
df = pl.DataFrame({"feature_a": feature_a_list, "feature_b": feature_b_list})
问题：Python list.append() 在 CPython 中虽快，但大量小对象频繁分配会引发 GC 压力；且无法利用 Polars 的零拷贝内存布局优势。当 decompose() 返回非标量（如嵌套结构），还需额外序列化开销。
❌ 更不推荐：逐行 vstack（严重性能陷阱）
df = pl.DataFrame(schema={"feature_a": pl.String, "feature_b": pl.String})
for row in generation_mechanism():
new_df = pl.DataFrame({"feature_a": [a], "feature_b": [b]})
df = df.vstack(new_df) # O(n) 每次复制整个 DataFrame！
关键缺陷：vstack 是线性时间复杂度操作——第 k 次调用需复制前 k−1 行数据。累计 10 万行时，总拷贝量达 ~50 亿行等效量，内存与 CPU 开销爆炸式增长。Polars 官方文档明确警告：“Never use vstack in loops”。
✅ 推荐方案一：LazyFrame + sink_csv（流式、零中间内存）
这是 Polars 专为流式场景设计的原生高性能方案，无需显式缓冲，自动分批写入：
import polars as pl
def generation_mechanism():
for x in range(1_000_000):
yield (x, x + 1)
# 直接从生成器构建 LazyFrame（不触发计算）
lf = pl.LazyFrame(
generation_mechanism(),
schema=["feature_a", "feature_b"]
)
# 流式写入磁盘，batch_size 控制每批次行数（默认 1024）
lf.sink_csv("output.csv", batch_size=100)
✅ 优势：
