超大文件去重需分块+外部排序：先按行切分内存可控的块，每块用sort+unique去重后写盘；再用最小堆多路归并，边取最小值边跳重复，并保留跨块边界行比对。
超大文件去重不能全读进内存，必须分块+外部排序
直接用 std::unordered_set 或 std::set 读完整个文件会 OOM——哪怕文件只是 50GB、每行平均 100 字节，也意味着约 5 亿条字符串，内存占用轻松突破 20GB（含指针、哈希桶、字符串堆分配开销）。外部排序是唯一可行路径：把文件切分成内存可容纳的块，各自排序去重，再归并合并时跳过重复项。
分块排序阶段：用 std::sort + std::unique 处理每个 chunk
关键不是“快”，而是“可控内存 + 可复现顺序”。每块读入后必须做两件事：排序、原地去重。注意 std::unique 不真正删除元素，需配合 erase：
std::vector<std::string> lines; // ... 读入当前 chunk（例如 100 万行） std::sort(lines.begin(), lines.end()); auto last = std::unique(lines.begin(), lines.end()); lines.erase(last, lines.end());
- 不要用
std::stable_sort——无必要且更慢 - 每块写回磁盘前建议用
std::ofstream以文本模式逐行写，避免二进制兼容性问题 - 块大小建议设为物理内存的 1/4～1/3（例如 16GB 内存，单块用 3～4GB），留足空间给 OS 缓冲和归并过程
多路归并去重：用 std::priority_queue 管理各 chunk 的当前最小行
归并不等于简单合并，必须边取最小值边跳过连续重复项。核心逻辑是：每次从 k 个 chunk 文件中取出当前首行，选最小者输出；若该行与上一个已输出行相同，则丢弃，不推进对应 chunk 的读取位置。
实现时用 std::priority_queue 存 std::tuple<:string int std::ifstream></:string>（内容、chunk 编号、文件流指针），但注意：std::priority_queue 默认最大堆，需传入 std::greater 得到最小堆；且每次 pop 后，要从对应文件再读下一行并 push 回队列。
