小编典典

基于两列A,B从数据框中删除重复项,并在另一列C中保留具有最大值的行

python

我有一个熊猫数据框,其中包含根据两列(A和B)重复的值:

A B C
1 2 1
1 2 4
2 7 1
3 4 0
3 4 8

我想删除重复项,使行在C列中具有最大值。这将导致:

A B C
1 2 4
2 7 1
3 4 8

我不知道该怎么做。我应该使用drop_duplicates()其他吗?


阅读 139

收藏
2020-12-20

共1个答案

小编典典

您可以使用分组依据:

c_maxes = df.groupby(['A', 'B']).C.transform(max)
df = df.loc[df.C == c_maxes]

c_maxes是每个组Series中的最大值的a
C但与的长度和索引相同df。如果您还没有使用过,.transform那么打印c_maxes可能是个好主意,以了解其工作原理。

使用的另一种方法drop_duplicates

df.sort('C').drop_duplicates(subset=['A', 'B'], take_last=True)

不确定哪种方法更有效,但是我猜第一种方法不涉及排序。

编辑:pandas 0.18第二个解决方案将是

df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')

或者,

df.sort_values('C', ascending=False).drop_duplicates(subset=['A', 'B'])

无论如何,该groupby解决方案的性能似乎都更高:

%timeit -n 10 df.loc[df.groupby(['A', 'B']).C.max == df.C]
10 loops, best of 3: 25.7 ms per loop

%timeit -n 10 df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')
10 loops, best of 3: 101 ms per loop
2020-12-20