>如果我有一个rdd,我如何理解数据在key：value中
格式？有没有办法找到相同的东西 – 像
type(object)告诉我一个对象的类型.我试过打印
type(rdd.take(1)),但它只是说< type'list'>.
>假设我有一个像(x,1),(x,2),(y,3)的数据,我使用
groupByKey和got(x,(1,2)),3)).有没有办法定义
(1,2)和(1,3)作为x和y是键的值？或者密钥必须是单个值吗？我注意到如果我使用reduceByKey和sum函数来获取数据((x,3),4))那么将这些数据定义为键值对变得更加容易
最佳答案
Python是一种动态类型语言,PySpark不对键值对使用任何特殊类型.对象被视为PairRDD操作的有效数据的唯一要求是它可以解压缩如下：
k,v = kv
通常,由于其语义(固定大小的不可变对象)和与Scala Product类的相似性,您将使用两元素元组.但这只是一个惯例,没有什么可以阻止你这样的事情：
key_value.py
class KeyValue(object):
def __init__(self,k,v):
self.k = k
self.v = v
def __iter__(self):
for x in [self.k,self.v]:
yield x
from key_value import KeyValue
rdd = sc.parallelize(
[KeyValue("foo",KeyValue("foo",KeyValue("bar",0)])
rdd.reduceByKey(add).collect()
## [('bar',0),('foo',3)]
并使任意类的行为类似于键值.因此,如果某些东西可以正确解压缩为一对对象,那么它就是一个有效的键值.实现__len__和__getitem__魔术方法也应该有效.可能最优雅的方法是使用namedtuples.
此外,type(rdd.take(1))返回长度为n的列表,因此其类型将始终相同.