Python-如何逐行读取大文件

小编典典

Python-如何逐行读取大文件

python

我想遍历整个文件的每一行。一种方法是读取整个文件，将其保存到列表中，然后遍历感兴趣的行。此方法占用大量内存，因此我正在寻找替代方法。

到目前为止，我的代码：

for each_line in fileinput.input(input_file):
    do_something(each_line)

    for each_line_again in fileinput.input(input_file):
        do_something(each_line_again)

执行此代码将显示错误消息：device active。

有什么建议么？

目的是计算成对的字符串相似度，这意味着对于文件中的每一行，我要计算每隔一行的Levenshtein距离。

阅读 950

2020-02-10

共1个答案

小编典典

正确的，完全Python的读取文件的方法如下：

with open(...) as f:
    for line in f:
        # Do something with 'line'

该with语句处理文件的打开和关闭，包括内部块是否引发异常。该for line in f会将文件对象f视为可迭代，它会自动使用缓冲I / O和内存管理，这样你就不必对大文件的担心。

应该有一种-最好只有一种-显而易见的方法。

2020-02-10