Python - 文本Munging


Munging一般意味着通过改造它们来清理任何杂乱的东西。在我们的例子中,我们将看到如何转换文本以获得一些结果,这些结果为我们提供了一些理想的数据更改。在一个简单的层面上,它只是改变我们正在处理的文本。

在下面的例子中,我们计划改组然后重新排列句子的所有字母,除了第一个和最后一个字母以获得可能的替代单词,这些单词可能在人类写作期间被生成为拼写错误的单词。这种重新安排有助于我们

import random

import re

def replace(t):
    inner_word = list(t.group(2))
    random.shuffle(inner_word)
    return t.group(1) + "".join(inner_word) + t.group(3)
text = "Hello, You should reach the finish line."
print re.sub(r"(\w)(\w+)(\w)", replace, text)

print re.sub(r"(\w)(\w+)(\w)", replace, text)

当我们运行上面的程序时,我们得到以下输出 -

Hlleo, You slouhd raech the fsiinh lnie.
Hlleo, You suolhd raceh the fniish line.

在这里你可以看到除了第一个和最后一个字母之外,这些单词是如何混乱的。通过对错误拼写采用统计方法,我们可以确定通常错误的单词是什么,并为它们提供正确的拼写。