[zz]关于文件读写Linux的内存映射解决大文件读写_miao

[zz]关于文件读写Linux的内存映射解决大文件读写_miao_新浪博客

[zz]关于文件读写--Linux的内存映射解决大文件读写
(2009-05-27 16:46:00)
转载▼
标签：
杂谈
    分类： C++

第一组：ifstream与CFile的效率

From：http://www.cppblog.com/zhangyq/archive/2009/05/19/56034.html

ifstream是标准C++中的文件输入流，在实际应用中，用它的read方法，是必须缓冲的，效率很低。
在一次测试中，用它将一个800k的文件一次读入字符串中，和MFC中的CFile类的read方法，效率竟然相差七倍，我用的是VC8，WM5.0的平台，用CFile，不到一秒，用ifstream要快七秒。究其原因，还是两者的机制不同所致。
ifstream的read、write方法，都是要缓冲的，所谓的缓冲区其实是一段中介内存（临时存储区），如果用户不设定的话，一般是512字节，读或写时先要将数据输送到缓冲区，等到缓冲区满或被刷新时，才将数据传输到设备或文件中。要直接读到内存中（即所谓的内核格式化），要用istringstream类。CFile显然是直接读内存不需要缓冲，所以速度快。
如果不考虑效率，可以用标准C++的文件输出流，二者的区别文件越大越明显，所以要根据实际运用的需要来选择。C++的灵活性在于它的概念是在实际中体会的，理论也是在实际应用中深化的。

第二组：Linux内存映射: mmap

Linux提供了内存映射函数mmap, 它把文件内容映射到一段内存上(准确说是虚拟内存上), 通过对这段内存的读取和修改, 实现对文件的读取和修改, 先来看一下mmap的函数声明:

    头文件:
        <unistd.h>
        <sys/mman.h>
    原型: void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offsize);
    返回值: 成功则返回映射区起始地址, 失败则返回MAP_FAILED(-1).
    参数:
        addr: 指定映射的起始地址, 通常设为NULL, 由系统指定.
        length: 将文件的多大长度映射到内存.
        prot: 映射区的保护方式, 可以是:
            PROT_EXEC: 映射区可被执行.
            PROT_READ: 映射区可被读取.
            PROT_WRITE: 映射区可被写入.
            PROT_NONE: 映射区不能存取.
        flags: 映射区的特性, 可以是:
            MAP_SHARED: 对映射区域的写入数据会复制回文件, 且允许其他映射该文件的进程共享.
            MAP_PRIVATE: 对映射区域的写入操作会产生一个映射的复制(copy-on-write), 对此区域所做的修改不会写回原文件.
            此外还有其他几个flags不很常用, 具体查看linux C函数说明.
        fd: 由open返回的文件描述符, 代表要映射的文件.
        offset: 以文件开始处的偏移量, 必须是分页大小的整数倍, 通常为0, 表示从文件头开始映射.

    下面说一下内存映射的步骤:

    用open系统调用打开文件, 并返回描述符fd.
    用mmap建立内存映射, 并返回映射首地址指针start.
    对映射(文件)进行各种操作, 显示(printf), 修改(sprintf).
    用munmap(void *start, size_t lenght)关闭内存映射.
    用close系统调用关闭文件fd.

关于linux内存映射的另一篇文章：

http://hi.baidu.com/wzt85/blog/item/a11e013e1e1da7f2828b139c.html