Java中用内存映射处理大文件

  在学习编程的过程中,我觉得不止要获得课本的知识,更多的是通过学习技术知识提高解决问题的能力,这样我们才能走在最前方,本文主要讲述Java中用内存映射处理大文件,更多Java专业知识,广州疯狂java培训为你讲解;

  在处理大文件时,如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作,都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。

  在处理大文件时,如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作,都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。

  package test;

  import java.io.BufferedInputStream;

  import java.io.FileInputStream;

  import java.io.FileNotFoundException;

  import java.io.IOException;

  import java.io.RandomAccessFile;

  import java.nio.MappedByteBuffer;

  import java.nio.channels.FileChannel;

  public class Test {

  public static void main(String[] args) {

  try {

  FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");

  int sum=0;

  int n;

  long t1=System.currentTimeMillis();

  try {

  while((n=fis.read())>=0){

  sum+=n;

  }

  } catch (IOException e) {

  // TODO Auto-generated catch block

  e.printStackTrace();

  }

  long t=System.currentTimeMillis()-t1;

  System.out.println("sum:"+sum+" time:"+t);

  } catch (FileNotFoundException e) {

  // TODO Auto-generated catch block

  e.printStackTrace();

  }

  try {

  FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");

  BufferedInputStream bis=new BufferedInputStream(fis);

  int sum=0;

  int n;

  long t1=System.currentTimeMillis();

  try {

  while((n=bis.read())>=0){

  sum+=n;

  }

  } catch (IOException e) {

  // TODO Auto-generated catch block

  e.printStackTrace();

  }

  long t=System.currentTimeMillis()-t1;

  System.out.println("sum:"+sum+" time:"+t);

  } catch (FileNotFoundException e) {

  // TODO Auto-generated catch block

  e.printStackTrace();

  }

  MappedByteBuffer buffer=null;

  try {

  buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map

  (FileChannel.MapMode.READ_WRITE, 0, 1253244);

  int sum=0;

  int n;

  long t1=System.currentTimeMillis();

  for(int i=0;i<1253244;i++){

  n=0x000000ff&buffer.get(i);

  sum+=n;

  }

  long t=System.currentTimeMillis()-t1;

  System.out.println("sum:"+sum+" time:"+t);

  } catch (FileNotFoundException e) {

  // TODO Auto-generated catch block

  e.printStackTrace();

  } catch (IOException e) {

  // TODO Auto-generated catch block

  e.printStackTrace();

  }

  }

  }

  测试文件为一个大小为1253244字节的文件。测试结果:

  sum:220152087 time:1464

  sum:220152087 time:72

  sum:220152087 time:25

  说明读数据无误。删去其中的数据处理部分。

  package test;

  import java.io.BufferedInputStream;

  import java.io.FileInputStream;

  import java.io.FileNotFoundException;

  import java.io.IOException;

  import java.io.RandomAccessFile;

  import java.nio.MappedByteBuffer;

  import java.nio.channels.FileChannel;

  public class Test {

  public static void main(String[] args) {

  try {

  FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");

  int sum=0;

  int n;

  long t1=System.currentTimeMillis();

  try {

  while((n=fis.read())>=0){

  //sum+=n;

  }

  } catch (IOException e) {

  // TODO Auto-generated catch block

  e.printStackTrace();

  }

  long t=System.currentTimeMillis()-t1;

  System.out.println("sum:"+sum+" time:"+t);

  } catch (FileNotFoundException e) {

  // TODO Auto-generated catch block

  e.printStackTrace();

  }

  try {

  FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");

  BufferedInputStream bis=new BufferedInputStream(fis);

  int sum=0;

  int n;

  long t1=System.currentTimeMillis();

  try {

  while((n=bis.read())>=0){

  //sum+=n;

  }

  } catch (IOException e) {

  // TODO Auto-generated catch block

  e.printStackTrace();

  }

  long t=System.currentTimeMillis()-t1;

  System.out.println("sum:"+sum+" time:"+t);

  } catch (FileNotFoundException e) {

  // TODO Auto-generated catch block

  e.printStackTrace();

  }

  MappedByteBuffer buffer=null;

  try {

  buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map

  (FileChannel.MapMode.READ_WRITE, 0, 1253244);

  int sum=0;

  int n;

  long t1=System.currentTimeMillis();

  for(int i=0;i<1253244;i++){

  //n=0x000000ff&buffer.get(i);

  //sum+=n;

  }

  long t=System.currentTimeMillis()-t1;

  System.out.println("sum:"+sum+" time:"+t);

  } catch (FileNotFoundException e) {

  // TODO Auto-generated catch block

  e.printStackTrace();

  } catch (IOException e) {

  // TODO Auto-generated catch block

  e.printStackTrace();

  }

  }

  }

  测试结果:

  sum:0 time:1458

  sum:0 time:67

  sum:0 time:8

  由此可见,将文件部分或者全部映射到内存后进行读写,速度将提高很多。

  这是因为内存映射文件首先将外存上的文件映射到内存中的一块连续区域,被当成一个字节数组进行处理,读写操作直接对内存进行操作,而后再将内存区域重新映射到外存文件,这就节省了中间频繁的对外存进行读写的时间,大大降低了读写时间。

  疯狂Java培训专注软件开发培训,提升学员就业能力,重点提升实践动手能力。没有工作经验的学员,在疯狂java,通过大量全真经典企业级项目进行集中培训,课上讲师讲解和课下项目练习课上课下双管齐下,学员通过数月培训都可获得1-2年的工作经验,进而在同类的求职者中脱颖而出。疯狂Java培训让你体会java编程的快乐,项目开发的兴奋,激情,通过短短几个月的时间,让你在半年的时间内掌握8-10万的代码量,掌握Java核心技术,迅速成为技能型的现代化高端人才,迅速获得高薪就业!

原文地址:https://www.cnblogs.com/gojava/p/3247930.html