更好的方法来统一打乱两个 numpy 数组

小编典典

更好的方法来统一打乱两个 numpy 数组

all

我有两个不同形状的 numpy 数组，但长度相同（前导维度）。我想对它们中的每一个进行洗牌，以使相应的元素继续对应——即相对于它们的前导索引统一洗牌。

此代码有效，并说明了我的目标：

def shuffle_in_unison(a, b):
    assert len(a) == len(b)
    shuffled_a = numpy.empty(a.shape, dtype=a.dtype)
    shuffled_b = numpy.empty(b.shape, dtype=b.dtype)
    permutation = numpy.random.permutation(len(a))
    for old_index, new_index in enumerate(permutation):
        shuffled_a[new_index] = a[old_index]
        shuffled_b[new_index] = b[old_index]
    return shuffled_a, shuffled_b

例如：

>>> a = numpy.asarray([[1, 1], [2, 2], [3, 3]])
>>> b = numpy.asarray([1, 2, 3])
>>> shuffle_in_unison(a, b)
(array([[2, 2],
       [1, 1],
       [3, 3]]), array([2, 1, 3]))

然而，这感觉笨重、低效且缓慢，并且需要制作数组的副本——我宁愿将它们就地洗牌，因为它们会很大。

有没有更好的方法来解决这个问题？更快的执行和更低的内存使用是我的主要目标，但优雅的代码也会很好。

我的另一个想法是：

def shuffle_in_unison_scary(a, b):
    rng_state = numpy.random.get_state()
    numpy.random.shuffle(a)
    numpy.random.set_state(rng_state)
    numpy.random.shuffle(b)

这行得通......但它有点可怕，因为我看不到它会继续工作 - 例如，它看起来不像保证在 numpy 版本中存活的那种东西。

阅读 216

2022-04-19

共1个答案

小编典典

你的“可怕”解决方案对我来说并不可怕。调用shuffle()两个相同长度的序列会导致对随机数生成器的调用次数相同，而这些是 shuffle
算法中唯一的“随机”元素。通过重置状态，您可以确保对随机数生成器的调用将在第二次调用中给出相同的结果shuffle()，因此整个算法将生成相同的排列。

如果您不喜欢这样，另一种解决方案是将数据存储在一个数组中，而不是从一开始就存储在两个数组中，然后在这个单一数组中创建两个视图，模拟您现在拥有的两个数组。您可以将单个数组用于洗牌，并将视图用于所有其他目的。

示例：让我们假设数组看起来像这样a：b

a = numpy.array([[[  0.,   1.,   2.],
                  [  3.,   4.,   5.]],

                 [[  6.,   7.,   8.],
                  [  9.,  10.,  11.]],

                 [[ 12.,  13.,  14.],
                  [ 15.,  16.,  17.]]])

b = numpy.array([[ 0.,  1.],
                 [ 2.,  3.],
                 [ 4.,  5.]])

我们现在可以构造一个包含所有数据的数组：

c = numpy.c_[a.reshape(len(a), -1), b.reshape(len(b), -1)]
# array([[  0.,   1.,   2.,   3.,   4.,   5.,   0.,   1.],
#        [  6.,   7.,   8.,   9.,  10.,  11.,   2.,   3.],
#        [ 12.,  13.,  14.,  15.,  16.,  17.,   4.,   5.]])

现在我们创建模拟原始的视图a和b：

a2 = c[:, :a.size//len(a)].reshape(a.shape)
b2 = c[:, a.size//len(a):].reshape(b.shape)

和的数据a2与b2共享c。要同时洗牌两个数组，请使用numpy.random.shuffle(c).

在生产代码中，您当然会尽量避免创建原始的aandb并立即创建c, a2and b2.

该解决方案可以适用于具有不同 dtypea的情况。b

2022-04-19