小编典典

spark中的哪个功能用于通过键组合两个RDD

python

让我们说我有以下两个RDD,具有以下密钥对值。

rdd1 = [ (key1, [value1, value2]), (key2, [value3, value4]) ]

rdd2 = [ (key1, [value5, value6]), (key2, [value7]) ]

现在,我想通过键值将它们连接起来,例如,我想返回以下内容

ret = [ (key1, [value1, value2, value5, value6]), (key2, [value3, value4, value7]) ]

如何使用Python或Scala在火花中执行此操作?一种方法是使用连接,但是连接会在该元组内部创建一个元组。但是我只希望每个键值对只有一个元组。


阅读 211

收藏
2021-01-20

共1个答案

小编典典

我将两个RDD和一个reduceByKey合并以合并值。

(rdd1 union rdd2).reduceByKey(_ ++ _)
2021-01-20