我正在努力处理UDF中的null值,该UDF对数据帧(源自hive表)进行操作,其中包含一个浮点结构：
数据框(点)具有以下模式：
root |-- point: struct (nullable = true) | |-- x: float (nullable = true) | |-- y: float (nullable = true)
例如,我想计算x和y的总和.请注意,我在以下示例中没有“处理”空值,但我希望能够在我的udf中检查point,x或y是否为null.
第一种方法：
val sum = udf((x:Float,y:Float) => x+y)
points.withColumn("sum",sum($"point.x",$"point.y"))
如果struct point为null,则这不起作用,在这种情况下永远不会计算udf(udf中的代码永远不会被执行！),结果为null.另外,我无法检查x或y是否为null,因为在scala中Floats不能为null.
第二种方法：
val sum = udf((pt:Row) => pt.getFloat(0)+pt.getFloat(1))
points.withColumn("sum",sum($"point"))
哪种方法,我可以在我的udf中检查pt为null,但我能够检查x和y,因为Floats不能为null.在这种情况下,我得到一个NullPointerException.
如何编写一个udf win,我可以检查struct,x和y是否为null？
我正在使用spark 1.6.1
更新：
与this question相反,我正在处理浮点数而不是字符串(scala中的字符串可以为null,不浮点数)
解决方法
您可以使用Row.isNullAt(i)来检查ith字段是否为空.在你的情况下,你应该写你的udf为,
sum = udf((point: Row) => point.match {
case p if (p.isNullAt(0) && p.isNullAt(0)) => 0f
case p if p.isNullAt(0) => p.getFloat(1)
case p if p.isNullAt(1) => p.getFloat(0)
case p => p.getFloat(0) + p.getFloat(1)
})
