非唯一索引对pandas的性能有何影响？

小编典典

非唯一索引对pandas的性能有何影响？

python

从pandas文档中，我收集到，唯一值索引使某些操作高效，并且偶尔可以容忍非唯一索引。

从外部看，看起来非唯一索引没有以任何方式被利用。例如，以下ix查询足够慢，以至于似乎正在扫描整个数据帧

In [23]: import numpy as np
In [24]: import pandas as pd
In [25]: x = np.random.randint(0, 10**7, 10**7)
In [26]: df1 = pd.DataFrame({'x':x})
In [27]: df2 = df1.set_index('x', drop=False)
In [28]: %timeit df2.ix[0]
1 loops, best of 3: 402 ms per loop
In [29]: %timeit df1.ix[0]
10000 loops, best of 3: 123 us per loop

（我意识到这两个ix查询不会返回相同的内容，这只是一个ix对非唯一索引的调用要慢得多的示例）

有什么办法哄骗大熊猫使用更快的查找方法，例如对非唯一索引和/或排序索引进行二进制搜索？

阅读 273

2021-01-20

共1个答案

小编典典

当索引是唯一的时，熊猫使用哈希表将键映射到值O（1）。当索引不是唯一且排序时，大熊猫使用二进制搜索O（logN），当索引为随机排序时，大熊猫需要检查索引O（N）中的所有键。

您可以调用sort_index方法：

import numpy as np
import pandas as pd
x = np.random.randint(0, 200, 10**6)
df1 = pd.DataFrame({'x':x})
df2 = df1.set_index('x', drop=False)
df3 = df2.sort_index()
%timeit df1.loc[100]
%timeit df2.loc[100]
%timeit df3.loc[100]

结果：

10000 loops, best of 3: 71.2 µs per loop
10 loops, best of 3: 38.9 ms per loop
10000 loops, best of 3: 134 µs per loop

2021-01-20