如何高效读取超大文本文件（200+列、1000+行）-Golang

go 中 `bufio.scanner` 默认限制单行长度为 64kb，导致读取宽字段大文件时触发“token too long”错误；应改用 `bufio.reader` 配合 `readstring(‘\n’)` 实现无长度限制的逐行读取。

当处理列数极多（如 200+ 列）、行内容超长的文本文件（例如导出的 CSV 或日志快照）时，bufio.Scanner 的默认行为会成为瓶颈。其内部缓冲区上限由常量 bufio.MaxScanTokenSize = 64 * 1024（即 64KB）硬性约束，一旦某行原始字节长度超过该值（含换行符），scan.Scan() 将返回 false，且 scan.Err() 报 “token too long” —— 此时扫描器已无法继续，后续行被跳过，仅剩首行被读入。

✅ 推荐解决方案：使用 bufio.Reader 替代 Scanner
bufio.Reader 不设单行长度限制，ReadString(‘\n’) 可安全读取任意长度的行（仅受内存约束），语义清晰且控制力更强：

package main

import (
    "bufio"
    "fmt"
    "os"
)

func main() {
    file, err := os.Open("t8.txt")
    if err != nil {
        fmt.Fatal("打开文件失败:", err)
    }
    defer file.Close()

    reader := bufio.NewReader(file)
    var result []string

    for {
        line, err := reader.ReadString('\n')
        if err != nil {
            // EOF 是正常结束标志（最后一行无 '\n' 时也会在此返回 io.EOF）
            if err == bufio.ErrEOF {
                // 处理可能存在的末尾无换行符的行
                if len(line) > 0 {
                    result = append(result, line)
                }
                break
            }
            fmt.Fatal("读取文件出错:", err)
        }
        result = append(result, line)
    }

    fmt.Printf("共读取 %d 行\n", len(result))
}

⚠️ 注意事项：