C++如何实现高性能的文件映射读写_C++操作mmap实现大文件秒读【性能】-C++

mmap读大文件比fread快得多,因其绕过内核缓冲区拷贝,将文件直接映射到进程虚拟内存,实现纯内存操作,避免系统调用与态切换开销,在GB级数据场景下性能提升2–5倍。

为什么 mmap 读大文件比 fread 快得多

mmap 的核心优势在于绕过内核缓冲区拷贝:它把文件直接映射进进程虚拟内存,后续读写变成纯内存操作,没有 read()/write() 系统调用开销,也不触发用户态/内核态频繁切换。对 GB 级日志、数据库页、影像数据等顺序或随机访问场景,性能提升常达 2–5 倍。

但注意:mmap 不是万能加速器——小文件(msync(),否则脏页由内核异步刷盘,崩溃可能丢数据。

Linux 下用 mmap 读取只读大文件的最小可靠写法

关键不是“怎么映射”,而是“怎么避免 SIGBUS 和段错误”。常见错误是忽略文件大小与映射长度对齐、未检查 mmap() 返回值、忘记 munmap()。

  • open() 必须带 O_RDONLY(读)或 O_RDWR(读写),不能用 O_APPEND
  • lseek() + lstat() 获取真实文件大小,传给 mmap() 的 length 参数;不能硬写 2GB 或用 SIZE_MAX
  • mmap() 成功返回非 MAP_FAILED 指针后,**必须用 memset() 或首次访问前 touch 一页**,防止首次读触发缺页异常被信号中断(尤其在多线程环境)
  • 映射后按需用 memcpy() 或指针偏移访问,无需循环 read()
int fd = open("data.bin", O_RDONLY);
struct stat st;
fstat(fd, &st);
void* addr = mmap(nullptr, st.st_size, PROT_READ, MAP_PRIVATE, fd, 0);
if (addr == MAP_FAILED) { /* handle error */ }
// 安全起见,触碰第一页
volatile char dummy = *(char*)addr;
// … 使用 addr 作只读访问
munmap(addr, st.st_size);
close(fd);

写入大文件时,MAP_SHARED + msync 的正确节奏

写操作比读敏感得多:用 MAP_PRIVATE 写的是 copy-on-write 页,不会落盘;必须用 MAP_SHARED 才能同步回文件。但直接狂写再 msync() 会阻塞太久,影响响应。

立即学习“C++免费学习笔记(深入)”;

夏夕资源网专注于CMS网站模板,主流语言整站网站源码下载,网站建设相关教程分享,好用的软件素材整合下载,提供一站式便捷自助服务。
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
7. 如遇到加密压缩包,默认解压密码为"zy.lucklyus.top",如遇到无法解压的请联系管理员!
夏夕资源网-网站模板_免费源码_资源素材 » C++如何实现高性能的文件映射读写_C++操作mmap实现大文件秒读【性能】-C++
在线时间:12:00 - 22:00
关注微信公众号:微信公众号
站长邮箱:[email protected]
  • 运营天数: 1394+
  • 资源总数: 47989+
  • 用户总数: 1+
  • 今日更新: 0+
  • 访问次数: 4034954+
  • 本周更新: 0+
  • 最后更新: 2026-03-16

本站指数

×
  • 运营天数: 1394+
  • 资源总数: 47989+
  • 用户总数: 1+
  • 今日更新: 0+
  • 访问次数: 4034954+
  • 本周更新: 0+
  • 最后更新: 2026-03-16