如何利用Java高效读取大文件

在内存中读取
读取文件行的标准方式是在内存中读取,Guava 和Apache Commons IO都提供了以下所示快速读取文件行的方法:

Files.readLines(new File(path), Charsets.UTF_8);
FileUtils.readLines(new File(path));

这类方法带来的问题是文件的所有行都被寄存在内存中,当文件足够大时很快就会致使程序抛出OutOfMemoryError 异常。
读取1个大约1G的文件

public void readFiles() throws IOException {
String path = "...";
Files.readLines(new File(path), Charsets.UTF_8);
}

这类方式刚开始只占用了很少许的内存,但是,当文件全部读入内存后,我们可以看到,占用了大量的内存(约2个G)

[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 2666 Mb
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 490 Mb

这意味着这1进程消耗了大约2.1G的内存,由于文件的所有行都被存储在了内存中,把文件所有的内容都放在内存中很快会耗尽可用内存――不论实际可用内存有多大,这点是不言而喻的。
另外,我们通常不需要把文件的所有行1次性地放入内存中――相反,我们只需要遍历文件的每行,然后做相应的处理,处理完以后把它扔掉。所以,这正是我们将要做的――通过行迭代,而不是把所有行都放在内存中。
文件流
现在我们来看看下面这类解决方法,我们用Java.util.Scanner 扫描文件的每行,1行1行连续的读取:

FileInputStream inputStream = null;
Scanner sc = null;
try {
inputStream = new FileInputStream(path);
sc = new Scanner(inputStream, "UTF⑻");
while (sc.hasNextLine()) {
String line = sc.nextLine();
// System.out.println(line);
}
// note that Scanner suppresses exceptions
if (sc.ioException() != null) {
throw sc.ioException();
}
} finally {
if (inputStream != null) {
inputStream.close();
}
if (sc != null) {
sc.close();
}
}

这类方案会遍历文件中的所有行,允许对每行进行处理,而不保持对它的援用,总之没有把他们寄存在内存中,我们可以看到,大约消耗了150MB内存。

[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 763 Mb
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 605 Mb

Apache Commons IO流
一样可使用Commons IO流,利用该库提供的自定义 LineIterator类:

LineIterator it = FileUtils.lineIterator(theFile, "UTF⑻");
try {
while (it.hasNext()) {
String line = it.nextLine();
// do something with line
}
} finally {
LineIterator.closeQuietly(it);
}

一样也消耗了相当少的内存,大约150M:

[main] INFO o.b.java.CoreJavaIoIntegrationTest - Total Memory: 752 Mb
[main] INFO o.b.java.CoreJavaIoIntegrationTest - Free Memory: 564 Mb
波比源码 – 精品源码模版分享 | www.bobi11.com
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
7. 本站源码并不保证全部能正常使用,仅供有技术基础的人学习研究,请谨慎下载
8. 如遇到加密压缩包,请使用WINRAR解压,如遇到无法解压的请联系管理员!

波比源码 » 如何利用Java高效读取大文件

发表评论

Hi, 如果你对这款模板有疑问,可以跟我联系哦!

联系站长
赞助VIP 享更多特权,建议使用 QQ 登录
喜欢我嘛?喜欢就按“ctrl+D”收藏我吧!♡