小编典典

Java文件IO与本地数据库

java

我正在从事一个涉及快速解析大量数据的项目。当前,此数据在磁盘上,并细分为目录层次结构:

(Folder: DataSource) -> (Files: Day1, Day2, Day3...Day1000...)
(Folder: DataSource2) -> (Files: Day1, Day2, Day3...Day1000...) 
...
(Folder: DataSource1000) -> ...
...

每一天的文件都包含需要非常快速地访问的条目。

我最初的计划是在Java中使用传统的FileIO来访问这些文件,但是在进一步阅读后,我开始担心这可能太慢。

简而言之,从各种数据源和日期中有选择地从文件系统中加载条目的最快方法是什么?


阅读 257

收藏
2020-11-26

共1个答案

小编典典

该问题可以通过两种方式解决,但取决于几个因素

选择FileIO。

  1. 如果体积 小于 <百万行
  2. 如果你不做像乔恩·斯基特这样的复杂查询
  3. 如果您引用获取行是通过使用hte文件夹名称:“ DataSource”作为键

去DB

  1. 如果您看到程序读取 了数百万条记录
  2. 您可以进行复杂的选择,甚至可以使用单个选择进行多行选择。
  3. 如果您具有为数据库创建基本表结构的知识
2020-11-26