io.CopyN 是按固定字节切分大文件最稳妥的方式,避免内存爆炸;需零填充命名分片、顺序合并并用 SHA256 校验完整性。
用 io.CopyN 按固定字节切分大文件,避免内存爆炸
Go 本身不提供“直接 split”命令,但 io.CopyN 是最稳妥的底层工具——它能精确控制每次复制多少字节,不加载整个文件进内存。适合 GB 级日志、数据库 dump 文件等场景。
常见错误是用 os.ReadFile 读全量再切片,1GB 文件会直接 OOM;或者用 bufio.Scanner 按行切,但二进制文件没“行”的概念,会破坏数据。
- 打开源文件用
os.Open,每个分片用os.Create单独写入 - 每次调用
io.CopyN(dst, src, chunkSize),返回实际复制字节数,需检查是否为0(表示已到 EOF) - 注意最后一个小于
chunkSize的剩余块,io.CopyN会自动处理,无需额外判断长度
合并文件时用 io.Copy 顺序追加,别用字符串拼接
合并的本质是把多个分片按序写入一个新文件,io.Copy 是最高效的方式。有人尝试用 strings.Join 或 bytes.Buffer 把所有分片内容先读进内存再写,这在分片数多或单个分片大时极易触发内存溢出。
- 目标文件用
os.Create创建,不是os.OpenFile(..., os.O_APPEND)——后者在并发写入或未清空时易出错 - 按文件名自然顺序遍历分片(如
part_001,part_002),用filepath.Glob("part_*")+sort.Strings确保顺序 - 每个分片用
os.Open后直接io.Copy(mergedFile, partFile),完成后Close
分片命名必须带零填充序号,否则合并顺序错乱
Go 的 filepath.Glob 和 shell 的 ls 默认按字典序排序:part_1, part_10, part_2 会被排成 1→10→2,导致合并后数据错位。这不是 Go 特有,而是所有基于字符串排序的通用陷阱。