深刻剖析:用1K內存完成高效I/O的RandomAccessFile類的詳解

主體：
今朝最風行的J2SDK版本是1.3系列。應用該版本的開辟人員需文件隨機存取，就得應用RandomAccessFile類。其I/O機能較之其它經常使用開辟說話的同類機能差距甚遠，嚴重影響法式的運轉效力。
開辟人員急切須要進步效力，上面剖析RandomAccessFile等文件類的源代碼，找出個中的關鍵地點，並加以改良優化，創立一個"性/價比"俱佳的隨機文件拜訪類BufferedRandomAccessFile。
在改良之前先做一個根本測試：逐字節COPY一個12兆的文件（這裡牽扯到讀和寫）。

讀 寫 耗用時光（秒） RandomAccessFile RandomAccessFile 95.848 BufferedInputStream + DataInputStream BufferedOutputStream + DataOutputStream 2.935

我們可以看到二者差距約32倍，RandomAccessFile也太慢了。先看看二者症結部門的源代碼，比較剖析，找出緣由。
1．1．[RandomAccessFile]

public class RandomAccessFile implements DataOutput, DataInput {
 public final byte readByte() throws IOException {
  int ch = this.read();
  if (ch < 0)
   throw new EOFException();
  return (byte)(ch);
 }
 public native int read() throws IOException;
 public final void writeByte(int v) throws IOException {
  write(v);
 }
 public native void write(int b) throws IOException;
}


可見，RandomAccessFile每讀/寫一個字節就需對磁盤停止一次I/O操作。
1．2．[BufferedInputStream]

public class BufferedInputStream extends FilterInputStream {
 private static int defaultBufferSize = 2048;
 protected byte buf[]; // 樹立讀緩存區
 public BufferedInputStream(InputStream in, int size) {
  super(in);       
  if (size <= 0) {
   throw new IllegalArgumentException("Buffer size <= 0");
  }
  buf = new byte[size];
 }
 public synchronized int read() throws IOException {
  ensureOpen();
  if (pos >= count) {
   fill();
   if (pos >= count)
    return -1;
  }
  return buf[pos++] & 0xff; // 直接從BUF[]中讀取
 }
 private void fill() throws IOException {
 if (markpos < 0)
     pos = 0;  /* no mark: throw away the buffer */
 else if (pos >= buf.length) /* no room left in buffer */
     if (markpos > 0) { /* can throw away early part of the buffer */
  int sz = pos - markpos;
  System.arraycopy(buf, markpos, buf, 0, sz);
  pos = sz;
  markpos = 0;
     } else if (buf.length >= marklimit) {
  markpos = -1; /* buffer got too big, invalidate mark */
  pos = 0; /* drop buffer contents */
     } else {  /* grow buffer */
  int nsz = pos * 2;
  if (nsz > marklimit)
      nsz = marklimit;
  byte nbuf[] = new byte[nsz];
  System.arraycopy(buf, 0, nbuf, 0, pos);
  buf = nbuf;
     }
 count = pos;
 int n = in.read(buf, pos, buf.length - pos);
 if (n > 0)
     count = n + pos;
 }
}

1．3．[BufferedOutputStream]

public class BufferedOutputStream extends FilterOutputStream {
   protected byte buf[]; // 樹立寫緩存區
   public BufferedOutputStream(OutputStream out, int size) {
  super(out);
  if (size <= 0) {
   throw new IllegalArgumentException("Buffer size <= 0");
  }
  buf = new byte[size];
    }
public synchronized void write(int b) throws IOException {
  if (count >= buf.length) {
      flushBuffer();
  }
  buf[count++] = (byte)b; // 直接從BUF[]中讀取
   }
   private void flushBuffer() throws IOException {
  if (count > 0) {
   out.write(buf, 0, count);
   count = 0;
  }
   }
}


可見，Buffered I/O putStream每讀/寫一個字節，若要操作的數據在BUF中，就直接對內存的buf[]停止讀/寫操作；不然從磁盤響應地位填充buf[]，再直接對內存的buf[]停止讀/寫操作，絕年夜部門的讀/寫操作是對內存buf[]的操作。
1．3．小結
內存存取時光單元是納秒級（10E-9），磁盤存取時光單元是毫秒級（10E-3）， 異樣操作一次的開支，內存比磁盤快了百萬倍。實際上可以預感，即便對內存操作上萬次，消費的時光也遠少關於磁盤一次I/O的開支。 明顯後者是經由過程增長位於內存的BUF存取，削減磁盤I/O的開支，進步存取效力的，固然如許也增長了BUF掌握部門的開支。從現實運用來看，存取效力進步了32倍。
依據1.3得出的結論，現試著對RandomAccessFile類也加上緩沖讀寫機制。
隨機拜訪類與次序類分歧，前者是經由過程完成DataInput/DataOutput接口創立的，爾後者是擴大FilterInputStream/FilterOutputStream創立的，不克不及直接照搬。
2．1．開拓緩沖區BUF[默許：1024字節]，用作讀/寫的共用緩沖區。
2．2．先完成讀緩沖。
讀緩沖邏輯的根本道理：
A 欲讀文件POS地位的一個字節。
B 查BUF中能否存在？如有，直接從BUF中讀取，並前往該字符BYTE。
C 若沒有，則BUF從新定位到該POS地點的地位並把該地位鄰近的BUFSIZE的字節的文件內容填充BUFFER，前往B。
以下給出症結部門代碼及其解釋：

public class BufferedRandomAccessFile extends RandomAccessFile {
//  byte read(long pos)：讀取以後文件POS地位地點的字節
//  bufstartpos、bufendpos代表BUF映照在以後文件的首/尾偏移地址。
//  curpos指以後類文件指針的偏移地址。
    public byte read(long pos) throws IOException {
        if (pos < this.bufstartpos || pos > this.bufendpos ) {
            this.flushbuf();
            this.seek(pos);
            if ((pos < this.bufstartpos) || (pos > this.bufendpos))
                throw new IOException();
        }
        this.curpos = pos;
        return this.buf[(int)(pos - this.bufstartpos)];
    }
// void flushbuf()：bufdirty為真，把buf[]中還沒有寫入磁盤的數據，寫入磁盤。
    private void flushbuf() throws IOException {
        if (this.bufdirty == true) {
            if (super.getFilePointer() != this.bufstartpos) {
                super.seek(this.bufstartpos);
            }
            super.write(this.buf, 0, this.bufusedsize);
            this.bufdirty = false;
        }
    }
// void seek(long pos)：挪動文件指針到pos地位，並把buf[]映照填充至POS
地點的文件塊。
    public void seek(long pos) throws IOException {
        if ((pos < this.bufstartpos) || (pos > this.bufendpos)) { // seek pos not in buf
            this.flushbuf();
            if ((pos >= 0) && (pos <= this.fileendpos) && (this.fileendpos != 0))
{   // seek pos in file (file length > 0)
               this.bufstartpos =  pos * bufbitlen / bufbitlen;
                this.bufusedsize = this.fillbuf();
            } else if (((pos == 0) && (this.fileendpos == 0))
|| (pos == this.fileendpos + 1))
{   // seek pos is append pos
                this.bufstartpos = pos;
                this.bufusedsize = 0;
            }
            this.bufendpos = this.bufstartpos + this.bufsize - 1;
        }
        this.curpos = pos;
    }
// int fillbuf()：依據bufstartpos，填充buf[]。
    private int fillbuf() throws IOException {
        super.seek(this.bufstartpos);
        this.bufdirty = false;
        return super.read(this.buf);
    }
}

至此緩沖讀根本完成，逐字節COPY一個12兆的文件（這裡牽扯到讀和寫，用BufferedRandomAccessFile試一下讀的速度）：

讀 寫 耗用時光（秒） RandomAccessFile RandomAccessFile 95.848 BufferedRandomAccessFile BufferedOutputStream + DataOutputStream 2.813 BufferedInputStream + DataInputStream BufferedOutputStream + DataOutputStream 2.935

可見速度明顯進步，與BufferedInputStream+DataInputStream平起平坐。
2．3．完成寫緩沖。
寫緩沖邏輯的根本道理：
A欲寫文件POS地位的一個字節。
B 查BUF中能否有該映照？如有，直接向BUF中寫入，並前往true。
C若沒有，則BUF從新定位到該POS地點的地位，並把該地位鄰近的 BUFSIZE字節的文件內容填充BUFFER，前往B。
上面給出症結部門代碼及其解釋：

// boolean write(byte bw, long pos)：向以後文件POS地位寫入字節BW。
// 依據POS的分歧及BUF的地位：存在修正、追加、BUF中、BUF外等情
況。在邏輯斷定時，把最能夠湧現的情形，最早斷定，如許可進步速度。
// fileendpos：指導以後文件的尾偏移地址，重要斟酌到追加身分
    public boolean write(byte bw, long pos) throws IOException {
        if ((pos >= this.bufstartpos) && (pos <= this.bufendpos)) {
// write pos in buf
            this.buf[(int)(pos - this.bufstartpos)] = bw;
            this.bufdirty = true;
            if (pos == this.fileendpos + 1) { // write pos is append pos
                this.fileendpos++;
                this.bufusedsize++;
            }
        } else { // write pos not in buf
            this.seek(pos);
            if ((pos >= 0) && (pos <= this.fileendpos) && (this.fileendpos != 0))
{ // write pos is modify file
                this.buf[(int)(pos - this.bufstartpos)] = bw;
            } else if (((pos == 0) && (this.fileendpos == 0))
|| (pos == this.fileendpos + 1)) { // write pos is append pos
                this.buf[0] = bw;
                this.fileendpos++;
                this.bufusedsize = 1;
            } else {
                throw new IndexOutOfBoundsException();
            }
            this.bufdirty = true;
        }
        this.curpos = pos;
        return true;
    }

至此緩沖寫根本完成，逐字節COPY一個12兆的文件，（這裡牽扯到讀和寫，聯合緩沖讀，用BufferedRandomAccessFile試一下讀/寫的速度）：

讀 寫 耗用時光（秒） RandomAccessFile RandomAccessFile 95.848 BufferedInputStream + DataInputStream BufferedOutputStream + DataOutputStream 2.935 BufferedRandomAccessFile BufferedOutputStream + DataOutputStream 2.813 BufferedRandomAccessFile BufferedRandomAccessFile 2.453
可見綜合讀/寫速度已超出BufferedInput/OutputStream+DataInput/OutputStream。
優化BufferedRandomAccessFile。
優化准繩：
•挪用頻仍的語句最須要優化，且優化的後果最顯著。
•多重嵌套邏輯斷定時，最能夠湧現的斷定，應放在最外層。
•削減不用要的NEW。
這裡舉一典范的例子：

public void seek(long pos) throws IOException {
  ...
this.bufstartpos =  pos * bufbitlen / bufbitlen;
// bufbitlen指buf[]的位長，例：若bufsize=1024，則bufbitlen=10。
...
}

seek函數應用在各函數中，挪用異常頻仍，下面減輕的這行語句依據pos和bufsize肯定buf[]對應該前文件的映照地位，用"*"、"/"肯定，明顯不是一個好辦法。
優化一：this.bufstartpos = (pos << bufbitlen) >> bufbitlen;
優化二：this.bufstartpos = pos & bufmask; // this.bufmask = ~((long)this.bufsize - 1);
二者效力都比本來好，但後者明顯更好，由於前者須要兩次移位運算、後者只需一次邏輯與運算（bufmask可以事後得出）。
至此優化根本完成，逐字節COPY一個12兆的文件，（這裡牽扯到讀和寫，聯合緩沖讀，用優化後BufferedRandomAccessFile試一下讀/寫的速度）：

讀 寫 耗用時光（秒） RandomAccessFile RandomAccessFile 95.848 BufferedInputStream + DataInputStream BufferedOutputStream + DataOutputStream 2.935 BufferedRandomAccessFile BufferedOutputStream + DataOutputStream 2.813 BufferedRandomAccessFile BufferedRandomAccessFile 2.453 BufferedRandomAccessFile優 BufferedRandomAccessFile優 2.197
可見優化雖然不顯著，照樣比未優化前快了一些，或許這類後果在老式機上會更顯著。
以上比擬的是次序存取，即便是隨機存取，在絕年夜多半情形下也不止一個BYTE，所以緩沖機制仍然有用。而普通的次序存取類要完成隨機存取就不怎樣輕易了。
須要完美的處所
供給文件追加功效：

public boolean append(byte bw) throws IOException {
        return this.write(bw, this.fileendpos + 1);
    }

供給文件以後地位修正功效：

public boolean write(byte bw) throws IOException {
        return this.write(bw, this.curpos);
    }

前往文件長度（因為BUF讀寫的緣由，與本來的RandomAccessFile類有所分歧）：

public long length() throws IOException {
        return this.max(this.fileendpos + 1, this.initfilelen);
    }

前往文件以後指針（因為是經由過程BUF讀寫的緣由，與本來的RandomAccessFile類有所分歧）：

public long getFilePointer() throws IOException {
        return this.curpos;
    }

供給對以後地位的多個字節的緩沖寫功效：

public void write(byte b[], int off, int len) throws IOException {
        long writeendpos = this.curpos + len - 1;
        if (writeendpos <= this.bufendpos) { // b[] in cur buf
System.arraycopy(b, off, this.buf, (int)(this.curpos - this.bufstartpos),
len);
            this.bufdirty = true;
            this.bufusedsize = (int)(writeendpos - this.bufstartpos + 1);
        } else { // b[] not in cur buf
            super.seek(this.curpos);
            super.write(b, off, len);
        }
        if (writeendpos > this.fileendpos)
            this.fileendpos = writeendpos;
        this.seek(writeendpos+1);
}
    public void write(byte b[]) throws IOException {
        this.write(b, 0, b.length);
    }


供給對以後地位的多個字節的緩沖讀功效：

public int read(byte b[], int off, int len) throws IOException {
long readendpos = this.curpos + len - 1;
   if (readendpos <= this.bufendpos && readendpos <= this.fileendpos ) {
// read in buf
      System.arraycopy(this.buf, (int)(this.curpos - this.bufstartpos),
b, off, len);
   } else { // read b[] size > buf[]
     if (readendpos > this.fileendpos) { // read b[] part in file
        len = (int)(this.length() - this.curpos + 1);
       }
       super.seek(this.curpos);
       len = super.read(b, off, len);
       readendpos = this.curpos + len - 1;
   }
       this.seek(readendpos + 1);
       return len;
}
   public int read(byte b[]) throws IOException {
        return this.read(b, 0, b.length);
   }
public void setLength(long newLength) throws IOException {
        if (newLength > 0) {
            this.fileendpos = newLength - 1;
        } else {
            this.fileendpos = 0;
        }
        super.setLength(newLength);
}

public void close() throws IOException {
        this.flushbuf();
        super.close();
    }

至此完美任務根本完成，試一下新增的多字節讀/寫功效，經由過程同時讀/寫1024個字節，來COPY一個12兆的文件，（這裡牽扯到讀和寫，用完美後BufferedRandomAccessFile試一下讀/寫的速度）：

讀 寫 耗用時光（秒） RandomAccessFile RandomAccessFile 95.848 BufferedInputStream + DataInputStream BufferedOutputStream + DataOutputStream 2.935 BufferedRandomAccessFile BufferedOutputStream + DataOutputStream 2.813 BufferedRandomAccessFile BufferedRandomAccessFile 2.453 BufferedRandomAccessFile優 BufferedRandomAccessFile優 2.197 BufferedRandomAccessFile完 BufferedRandomAccessFile完 0.401
與JDK1.4新類MappedByteBuffer+RandomAccessFile的比較？
JDK1.4供給了NIO類 ，個中MappedByteBuffer類用於映照緩沖，也能夠映照隨機文件拜訪，可見JAVA設計者也看到了RandomAccessFile的成績，並加以改良。怎樣經由過程MappedByteBuffer+RandomAccessFile拷貝文件呢？上面就是測試法式的重要部門：

RandomAccessFile rafi = new RandomAccessFile(SrcFile, "r");
   RandomAccessFile rafo = new RandomAccessFile(DesFile, "rw");
 FileChannel fci = rafi.getChannel();
FileChannel fco = rafo.getChannel();
 long size = fci.size();
 MappedByteBuffer mbbi = fci.map(FileChannel.MapMode.READ_ONLY, 0, size);
MappedByteBuffer mbbo = fco.map(FileChannel.MapMode.READ_WRITE, 0, size);
long start = System.currentTimeMillis();
for (int i = 0; i < size; i++) {
            byte b = mbbi.get(i);
            mbbo.put(i, b);
}
fcin.close();
fcout.close();
rafi.close();
rafo.close();
System.out.println("Spend: "+(double)(System.currentTimeMillis()-start) / 1000 + "s");

試一下JDK1.4的映照緩沖讀/寫功效，逐字節COPY一個12兆的文件，（這裡牽扯到讀和寫）：

讀 寫 耗用時光（秒） RandomAccessFile RandomAccessFile 95.848 BufferedInputStream + DataInputStream BufferedOutputStream + DataOutputStream 2.935 BufferedRandomAccessFile BufferedOutputStream + DataOutputStream 2.813 BufferedRandomAccessFile BufferedRandomAccessFile 2.453 BufferedRandomAccessFile優 BufferedRandomAccessFile優 2.197 BufferedRandomAccessFile完 BufferedRandomAccessFile完 0.401 MappedByteBuffer+ RandomAccessFile MappedByteBuffer+ RandomAccessFile 1.209
確切不錯，看來JDK1.4比1.3有了極年夜的提高。假如今後采取1.4版本開辟軟件時，須要對文件停止隨機拜訪，建議采取MappedByteBuffer+RandomAccessFile的方法。但鑒於今朝采取JDK1.3及之前的版本開辟的法式占絕年夜多半的現實情形，假如您開辟的JAVA法式應用了RandomAccessFile類來隨機拜訪文件，並因其機能欠安，而擔憂遭用戶诟病，請試用本文所供給的BufferedRandomAccessFile類，不用顛覆重寫，只需IMPORT 本類，把一切的RandomAccessFile改成BufferedRandomAccessFile，您的法式的機能將獲得極年夜的晉升，您所要做的就這麼簡略。
將來的斟酌
讀者可在此基本上樹立多頁緩存及緩存镌汰機制，以敷衍對隨機拜訪強度年夜的運用。