Spark 算子:KeyValue Transformation

Key-Value数据类型的Transformation算子

输入输出一对一

mapValues
针对Key,Value数据中的Value进行map操作,而不是对key进行处理
mapValues

对单个RDD聚集

combineByKey
聚集相同Key的RDD,值形成序列返回
combineByKey

def combineByKey[C](
    createCombiner:V=>C,
    mergeValue:(C,V)=>C,
    mergeCombiners:(C,C)=>C,
    partitioner:Partitioner,
    mapSideCombine:Boolean=true,
    serializer:Serializer=null):RDD[(K,C)]=self.withScope{
combineByKeyWithClassTag(createCombiner,mergeValue,mergeCombiners,
partitioner,mapSideCombine,serializer)(null)
}

createCombiner:V=>C
在C不存在的情况下,通过V创建seqC
mergeValue:(C,V)=>C
在C已经存在的情况下,需要merge,如把item V加到seqC中
mergeCombiners:(C,C)=>C
合并两个C
partitioner:Partitioner
分区器
mapSideCombine:Boolean=true
开启map端combine,减少shuffle传输量
serializer:Serializer=null
传输需要序列化,序列化类

reduceByKey
聚集key相同的RDD,值合并
reduceByKey

partitionBy
对RDD进行分区操作
如果原有的RDD分区器和现有分区器相同,不重分区
partitionBy

对两个RDD聚集

cogroup
将两个RDD协同划分
对两个RDD中的key-value类型的元素,每个RDD相同key的元素分别聚合一个集合,返回两个RDD中对应key的元素迭代器
cogroup

连接

join
对两个需要连接的RDD进行cogroup操作,形成的新的RDD,对Key下的元素进行笛卡尔积操作,最后返回RDD[(K,(V, W))]

this.cogroup(other, partitioner).flatMapValues {
    case (vs, ws) => for (v <- vs; w <- ws) yield(v, w)
}

join

leftOutJoin, rightOutJoin
相当于在join的基础上先判断一侧的RDD元素是否为空,如果为空,填充为空。如果不为空,将数据进行连接运算

leftOutJoin
if(ws.isEmpty) {
    vs.map(v=>(v, None))
} else {
    for(v <- vs; w <- ws) yield (v, Some(w))
}
Tags:,

Add a Comment

电子邮件地址不会被公开。 必填项已用*标注