scala – Spark:按键对数组中的行进行分组

前端之家收集整理的这篇文章主要介绍了scala – Spark:按键对数组中的行进行分组前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我有一个像这样的火花数据集:

key id val1 val2 val3
1   a  a1   a2   a3
2   a  a4   a5   a6
3   b  b1   b2   b3
4   b  b4   b5   b6
5   b  b7   b8   b9
6   c  c1   c2   c3

我想在列表或数组中按id分组所有行,如下所示:

(a,([1   a  a1   a2   a3],[2   a  a4   a5   a6]) ),(b,([3   b  b1   b2   b3],[4   b  b4   b5   b6],[5   b  b7   b8   b9]) ),(c,([6   c  c1   c2   c3]) )

我使用map用右键输出键/值对但我在构建最终键/数组时遇到了麻烦.

任何人都可以帮忙吗?

解决方法

这个怎么样:

import org.apache.spark.sql.functions._
df.withColumn("combined",array("key","id","val1","val2","val3")).groupby("id").agg(collect_list($"combined"))

Array函数将列转换为列数组,然后将其转换为带collect_list的简单groupby

猜你在找的Scala相关文章