熊猫-关于应用功能的解释很慢

小编典典

熊猫-关于应用功能的解释很慢

python

对于较大的数据帧（大约1到300万行），应用功能似乎工作非常缓慢。

对于我的情况，我有两种与apply函数有关的任务。

首先：应用查询字典查询

f(p_id, p_dict):
    return p_dict[p_dict['ID'] == p_id]['value']

p_dict = DataFrame(...)  # it's another dict works like lookup table
df = df.apply(f, args=(p_dict,))

第二：与groupby一起申请

f(week_id, min_week_num, p_dict):
    return p_dict[(week_id - min_week_num < p_dict['WEEK']) & (p_dict['WEEK'] < week_id)].ix[:,2].mean()

f_partial = partial(f, min_week_num=min_week_num, p_dict=p_dict)
df = map(f, df['WEEK'])

我想对于第一种情况，它可以通过数据框联接来完成，而我不确定大型数据集上这种联接的资源成本。

我的问题是：

在上述两种情况下，有什么替代方法可以适用吗？
为什么申请这么慢？对于dict查找情况，我认为应该为O（N），即使N为100万也不必花那么多钱。

阅读 149

2020-12-20

共1个答案

小编典典

关于您的第一个问题，我无法确切说明为什么此实例运行缓慢。但通常apply不利用向量化的优势。另外，apply返回一个新的Series或DataFrame对象，因此对于非常大的DataFrame，您将有相当大的IO开销（由于Pandas具有内部实现优化负载，因此我不能保证100％的情况是这种情况）。

对于第一种方法，我假设您尝试df使用p_dict作为查询表来填充“值”列。使用速度大约快1000倍pd.merge：

import string, sys

import numpy as np
import pandas as pd

##
# Part 1 - filling a column by a lookup table
##
def f1(col, p_dict):
    return [p_dict[p_dict['ID'] == s]['value'].values[0] for s in col]

# Testing
n_size = 1000
np.random.seed(997)
p_dict = pd.DataFrame({'ID': [s for s in string.ascii_uppercase], 'value': np.random.randint(0,n_size, 26)})
df = pd.DataFrame({'p_id': [string.ascii_uppercase[i] for i in np.random.randint(0,26, n_size)]})

# Apply the f1 method  as posted
%timeit -n1 -r5 temp = df.apply(f1, args=(p_dict,))
>>> 1 loops, best of 5: 832 ms per loop

# Using merge
np.random.seed(997)
df = pd.DataFrame({'p_id': [string.ascii_uppercase[i] for i in np.random.randint(0,26, n_size)]})
%timeit -n1 -r5 temp = pd.merge(df, p_dict, how='inner', left_on='p_id', right_on='ID', copy=False)

>>> 1000 loops, best of 5: 826 µs per loop

关于第二项任务，我们可以在其中快速添加一个新列，以p_dict计算其中该行的时间窗口从开始到min_week_num结束在星期几的平均值p_dict。这就要求p_dict沿着该WEEK列按升序排序。然后，您可以pd.merge再次使用。

min_week_num在下面的示例中，我假设该值为0。但是您可以轻松修改rolling_growing_mean以采用其他值。该rolling_growing_mean方法将在O（n）中运行，因为它在每次迭代中执行固定数量的操作。

n_size = 1000
np.random.seed(997)
p_dict = pd.DataFrame({'WEEK': range(52), 'value': np.random.randint(0, 1000, 52)})
df = pd.DataFrame({'WEEK': np.random.randint(0, 52, n_size)})

def rolling_growing_mean(values):
    out = np.empty(len(values))
    out[0] = values[0]
    # Time window for taking mean grows each step
    for i, v in enumerate(values[1:]):
        out[i+1] = np.true_divide(out[i]*(i+1) + v, i+2)
    return out

p_dict['Means'] = rolling_growing_mean(p_dict['value'])

df_merged = pd.merge(df, p_dict, how='inner', left_on='WEEK', right_on='WEEK')

2020-12-20