在熊猫中用 NaN 替换空白值（空格）

小编典典

在熊猫中用 NaN 替换空白值（空格）

all

我想在 Pandas 数据框中查找包含空格（任意数量）的所有值，并将这些值替换为 NaN。

有什么想法可以改进吗？

基本上我想把这个：

                   A    B    C
2000-01-01 -0.532681  foo    0
2000-01-02  1.490752  bar    1
2000-01-03 -1.387326  foo    2
2000-01-04  0.814772  baz     
2000-01-05 -0.222552         4
2000-01-06 -1.176781  qux

进入这个：

                   A     B     C
2000-01-01 -0.532681   foo     0
2000-01-02  1.490752   bar     1
2000-01-03 -1.387326   foo     2
2000-01-04  0.814772   baz   NaN
2000-01-05 -0.222552   NaN     4
2000-01-06 -1.176781   qux   NaN

我已经设法用下面的代码来做到这一点，但人是丑陋的。它不是 Pythonic，我敢肯定它也不是对 pandas
的最有效使用。我遍历每一列，并对通过应用对每个值进行正则表达式搜索的函数生成的列掩码进行布尔替换，匹配空白。

for i in df.columns:
    df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

它可以通过仅遍历可能包含空字符串的字段来进行一些优化：

if df[i].dtype == np.dtype('object')

但这并没有太大的改善

最后，此代码将目标字符串设置为 None，这适用于 Pandas 的函数，例如fillna()，但如果我实际上可以NaN直接插入 a
而不是None.

阅读 66

2022-06-07

共1个答案

小编典典

我认为df.replace()这项工作，因为pandas 0.13：

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

# replace field that's entirely space (or empty) with NaN
print(df.replace(r'^\s*$', np.nan, regex=True))

产生：

                   A    B   C
2000-01-01 -0.532681  foo   0
2000-01-02  1.490752  bar   1
2000-01-03 -1.387326  foo   2
2000-01-04  0.814772  baz NaN
2000-01-05 -0.222552  NaN   4
2000-01-06 -1.176781  qux NaN

正如指出的那样，df.replace(r'^\s+$',np.nan, regex=True)在您的有效数据包含空格的情况下使用。

2022-06-07