Statement.setFetchSize（nSize）方法在SQL Server JDBC驱动程序中真正做什么？

tangguo

java

我有一个非常大的表，每天都有数百万条记录，并且每天结束时我都会提取前一天的所有记录。我这样做是：

String SQL =  "select col1, col2, coln from mytable where timecol = yesterday";
Statement.executeQuery(SQL);

问题在于该程序占用了2GB的内存，因为它将所有结果存入内存，然后对其进行处理。

我尝试设置，Statement.setFetchSize(10)但它占用的操作系统内存完全相同，没有任何区别。我为此使用Microsoft SQL Server 2005 JDBC驱动程序。

有什么方法可以像在执行查询只显示几行并且向下滚动显示更多结果时一样读取Oracle数据库驱动程序中的小块结果？

阅读 502

2020-10-16

共1个答案

小编典典

在JDBC中，该setFetchSize(int)方法对于JVM中的性能和内存管理非常重要，因为它控制从JVM到数据库的网络调用数量，并相应地控制用于ResultSet处理的RAM数量。

本质上，如果调用setFetchSize（10）且驱动程序忽略了它，则可能只有两个选项：

尝试使用其他将遵循fetch-size提示的JDBC驱动程序。
查看Connection上特定于驱动程序的属性（创建Connection实例时的URL和/或属性映射）。
RESULT-SET是响应查询在数据库上编组的行数。ROW-SET是每次从JVM到DB的调用都从RESULT-SET中提取的行的块。这些调用的数量以及处理所需的结果RAM取决于访存大小设置。

因此，如果RESULT-SET有100行，而fetch-size是10，则将有10个网络调用来检索所有数据，在任何给定时间使用大约10 * {row-content-size} RAM。

默认的访存大小为10，这非常小。在这种情况下，驱动程序似乎忽略了fetch-size设置，一次调用就检索了所有数据（需要大量RAM，需要最少的网络调用）。

其下发生的事情ResultSet.next()是它实际上并没有一次从RESULT-SET获取一行。它从（本地）ROW-SET获取该行，并在服务器耗尽本地客户端的资源时从服务器获取（不可见）下一个ROW-SET。

所有这些都取决于驱动程序，因为设置只是一个“提示”，但实际上，我发现这是它对许多驱动程序和数据库（在许多版本的Oracle，DB2和MySQL中都经过验证的）如何工作的。

2020-10-16