Java中用内存映射处理大文件

上一篇 / 下一篇  2012-06-25 13:12:15 / 个人分类：Java

查看( 399 ) / 评论( 0 ) / 评分( 0 / 0 )
　在处理大文件时，如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作，都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。
  1. package test;  
  2. 51Testing软件测试网0Q*rTs\l?
  3. import java.io.BufferedInputStream;  
  4. import java.io.FileInputStream;  
  5. import java.io.FileNotFoundException;  
  6. import java.io.IOException;  
  7. import java.io.RandomAccessFile;  
  8. import java.nio.MappedByteBuffer;  
  9. import java.nio.channels.FileChannel;  

  10. f"Hi@&?Q&UH0
  11. public class Test {  
  12. 51Testing软件测试网SQ.S9B0X
  13.       
  14.     public static void main(String[] args) {  
  15.         try {  
  16.             FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");  
  17.             int sum=0;  
  18.             int n;  
  19.             long t1=System.currentTimeMillis();  
  20.             try {  
  21.                 while((n=fis.read())>=0){  
  22.                     sum+=n;  
  23.                 }  
  24.             } catch (IOException e) {  
  25.                 // TODO Auto-generated catch block 
  26.                 e.printStackTrace();  
  27.             }  
  28.             long t=System.currentTimeMillis()-t1;  
  29.             System.out.println("sum:"+sum+"  time:"+t);  
  30.         } catch (FileNotFoundException e) {  
  31.             // TODO Auto-generated catch block 
  32.             e.printStackTrace();  
  33.         }  
  34.           
  35.         try {  
  36.             FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");  
  37.             BufferedInputStream bis=new BufferedInputStream(fis);  
  38.             int sum=0;  
  39.             int n;  
  40.             long t1=System.currentTimeMillis();  
  41.             try {  
  42.                 while((n=bis.read())>=0){  
  43.                     sum+=n;  
  44.                 }  
  45.             } catch (IOException e) {  
  46.                 // TODO Auto-generated catch block 
  47.                 e.printStackTrace();  
  48.             }  
  49.             long t=System.currentTimeMillis()-t1;  
  50.             System.out.println("sum:"+sum+"  time:"+t);  
  51.         } catch (FileNotFoundException e) {  
  52.             // TODO Auto-generated catch block 
  53.             e.printStackTrace();  
  54.         }  
  55.           
  56.         MappedByteBuffer buffer=null;  
  57.         try {  
  58.             buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);  
  59.             int sum=0;  
  60.             int n;  
  61.             long t1=System.currentTimeMillis();  
  62.             for(int i=0;i<1253244;i++){  
  63.                 n=0x000000ff&buffer.get(i);  
  64.                 sum+=n;  
  65.             }  
  66.             long t=System.currentTimeMillis()-t1;  
  67.             System.out.println("sum:"+sum+"  time:"+t);  
  68.         } catch (FileNotFoundException e) {  
  69.             // TODO Auto-generated catch block 
  70.             e.printStackTrace();  
  71.         } catch (IOException e) {  
  72.             // TODO Auto-generated catch block 
  73.             e.printStackTrace();  
  74.         }  
  75. 51Testing软件测试网S@9K8W dcd4a
  76.     }  

  77. g#Y v#d|i3Q4^0
  78. }

N}}:em(R [6L0　　测试文件为一个大小为1253244字节的文件。测试结果：

e#krs ^iP0
  1. sum:220152087 time:1464  
  2. sum:220152087 time:72  
  3. sum:220152087 time:25
  4. 　说明读数据无误。删去其中的数据处理部分。51Testing软件测试网-U?pN3VM

    ^?L!j'Hi-a3x1l0
    1. package test;  
    2.  
    3. import java.io.BufferedInputStream;  
    4. import java.io.FileInputStream;  
    5. import java.io.FileNotFoundException;  
    6. import java.io.IOException;  
    7. import java.io.RandomAccessFile;  
    8. import java.nio.MappedByteBuffer;  
    9. import java.nio.channels.FileChannel;  
    10.  
    11. public class Test {  
    12.  
    13.       
    14.     public static void main(String[] args) {  
    15.         try {  
    16.             FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");  
    17.             int sum=0;  
    18.             int n;  
    19.             long t1=System.currentTimeMillis();  
    20.             try {  
    21.                 while((n=fis.read())>=0){  
    22.                     //sum+=n; 
    23.                 }  
    24.             } catch (IOException e) {  
    25.                 // TODO Auto-generated catch block 
    26.                 e.printStackTrace();  
    27.             }  
    28.             long t=System.currentTimeMillis()-t1;  
    29.             System.out.println("sum:"+sum+"  time:"+t);  
    30.         } catch (FileNotFoundException e) {  
    31.             // TODO Auto-generated catch block 
    32.             e.printStackTrace();  
    33.         }  
    34.           
    35.         try {  
    36.             FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");  
    37.             BufferedInputStream bis=new BufferedInputStream(fis);  
    38.             int sum=0;  
    39.             int n;  
    40.             long t1=System.currentTimeMillis();  
    41.             try {  
    42.                 while((n=bis.read())>=0){  
    43.                     //sum+=n; 
    44.                 }  
    45.             } catch (IOException e) {  
    46.                 // TODO Auto-generated catch block 
    47.                 e.printStackTrace();  
    48.             }  
    49.             long t=System.currentTimeMillis()-t1;  
    50.             System.out.println("sum:"+sum+"  time:"+t);  
    51.         } catch (FileNotFoundException e) {  
    52.             // TODO Auto-generated catch block 
    53.             e.printStackTrace();  
    54.         }  
    55.           
    56.         MappedByteBuffer buffer=null;  
    57.         try {  
    58.             buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);  
    59.             int sum=0;  
    60.             int n;  
    61.             long t1=System.currentTimeMillis();  
    62.             for(int i=0;i<1253244;i++){  
    63.                 //n=0x000000ff&buffer.get(i); 
    64.                 //sum+=n; 
    65.             }  
    66.             long t=System.currentTimeMillis()-t1;  
    67.             System.out.println("sum:"+sum+"  time:"+t);  
    68.         } catch (FileNotFoundException e) {  
    69.             // TODO Auto-generated catch block 
    70.             e.printStackTrace();  
    71.         } catch (IOException e) {  
    72.             // TODO Auto-generated catch block 
    73.             e.printStackTrace();  
    74.         }  
    75.  
    76.     }  
    77.  
    78. }

    G'ttV/xl8~zwg0　　测试结果：

    !n1KIv+q3R051Testing软件测试网+rQ7u Wjqw,OMR

    ZY K,PuSa~[0
    1. sum:0 time:1458  
    2. sum:0 time:67  
    3. sum:0 time:8

    M3g@mV|0　　由此可见，将文件部分或者全部映射到内存后进行读写，速度将提高很多。51Testing软件测试网9j.p;EtggP

    51Testing软件测试网 U*z:e}U ?^

    　　这是因为内存映射文件首先将外存上的文件映射到内存中的一块连续区域，被当成一个字节数组进行处理，读写操作直接对内存进行操作，而后再将内存区域重新映射到外存文件，这就节省了中间频繁的对外存进行读写的时间，大大降低了读写时间。

    m*],WM-|'h/x X*k0
    22/2<12

收藏 举报

TAG:

 

评分：0

我来说两句

Open Toolbar