我想在包含空格(任意数量)的Pandas数据框中找到所有值,并用NaN替换这些值。
有什么想法可以改善吗?
基本上我想把这个:
A B C 2000-01-01 -0.532681 foo 0 2000-01-02 1.490752 bar 1 2000-01-03 -1.387326 foo 2 2000-01-04 0.814772 baz 2000-01-05 -0.222552 4 2000-01-06 -1.176781 qux
变成这个:
A B C 2000-01-01 -0.532681 foo 0 2000-01-02 1.490752 bar 1 2000-01-03 -1.387326 foo 2 2000-01-04 0.814772 baz NaN 2000-01-05 -0.222552 NaN 4 2000-01-06 -1.176781 qux NaN
我已经用下面的代码做到了,但是这很丑。这不是Pythonic,而且我敢肯定,这也不是最有效的熊猫使用方式。我遍历每一列,并对通过应用对每个值进行正则表达式搜索的函数生成的列掩码进行布尔替换,在空白处进行匹配。
for i in df.columns: df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None
通过仅迭代可能包含空字符串的字段,可以对它进行一些优化:
if df[i].dtype == np.dtype('object')
但这并没有太大的改善
最后,此代码将目标字符串设置为None,该字符串可与Pandas的like函数一起使用fillna(),但是如果我实际上可以NaN直接插入而不是,那么对于完整性来说是很好的None。
fillna()
NaN
None
我认为能df.replace()做到,因为熊猫0.13:
df.replace()
df = pd.DataFrame([ [-0.532681, 'foo', 0], [1.490752, 'bar', 1], [-1.387326, 'foo', 2], [0.814772, 'baz', ' '], [-0.222552, ' ', 4], [-1.176781, 'qux', ' '], ], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06')) # replace field that's entirely space (or empty) with NaN print(df.replace(r'^\s*$', np.nan, regex=True))
产生:
正如ema指出的那样,请df.replace(r'^\s+$', np.nan, regex=True)在有效数据包含空格的情况下使用。
df.replace(r'^\s+$', np.nan, regex=True)