使用NIO的內存映射計算超大文件的MD5

在最近的開發及原有方案的改良中，一個feture就是加快對GB級大文件的讀取和計算MD5的速度。這是一個IO密集和CPU密集的耗時操作，

在無法硬性提高CPU的條件下，我考慮從IO上如何提高速率。

超大文件的MD5計算，需要分段將文件中的內存更新到MessageDigest中。（註：MessageDigest的實例不能共享，CSDN等博客上介紹MD5計算的demo，將MessageDigest設置為單例模式，單線程計算一個文件的MD5不會出錯，多線程計算就會出問題了。）

Java的NIO中提供了內存映射，通過將文件的一部分映射到內存中，可以一定程度地提高IO速率，從提高整體的效率。使用NIO的內存映射需要注意

內存的釋放（之前未釋放內存，在100GB級的文件測試中，拋出了OOM錯誤）。

分段計算MD5的代碼實現如下：

public static byte[] getMD5Digits(File file) throws IOException { FileInputStream inputStream = new FileInputStream(file); FileChannel channel = inputStream.getChannel(); try { MessageDigest messagedigest = MessageDigest.getInstance("MD5"); long position = 0; long remaining = file.length(); MappedByteBuffer byteBuffer = null; while (remaining > 0) { long size = Integer.MAX_VALUE / 2; if (size > remaining) { size = remaining; } byteBuffer = channel.map(FileChannel.MapMode.READ_ONLY, position, size); messagedigest.update(byteBuffer); position += size; remaining -= size; } unMapBuffer(byteBuffer, channel.getClass()); return messagedigest.digest(); } catch (NoSuchAlgorithmException e) { e.printStackTrace(); return null; } finally { channel.close(); inputStream.close(); } }

手動釋放映射內存的實現如下：

/** * JDK不提供MappedByteBuffer的釋放，但是MappedByteBuffer在Full GC時才被回收，通過手動釋放的方式讓其回收 * * @param buffer */ public static void unMapBuffer(MappedByteBuffer buffer, Class channelClass)throwsIOException{ if (buffer == null) { return; } Throwable throwable = null; try { Method unmap = channelClass.getDeclaredMethod("unmap", MappedByteBuffer.class); unmap.setAccessible(true); unmap.invoke(channelClass, buffer); } catch (NoSuchMethodException e) { throwable = e; } catch (IllegalAccessException e) { throwable = e; } catch (InvocationTargetException e) { throwable = e; } if (throwable != null) { throw new IOException("MappedByte buffer unmap error", throwable); } }

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！