参见英文答案 >
How to create an empty DataFrame with a specified schema? 6个
我是Spark和Spark数据集的新手.我试图使用emptyDataset声明一个空数据集,但它要求org.apache.spark.sql.Encoder.我用于数据集的数据类型是案例类Tp的对象(s1:String,s2:String,s3:String).
我是Spark和Spark数据集的新手.我试图使用emptyDataset声明一个空数据集,但它要求org.apache.spark.sql.Encoder.我用于数据集的数据类型是案例类Tp的对象(s1:String,s2:String,s3:String).
解决方法
您只需要在创建空数据集之前从SparkSession实例导入隐式编码器:import spark.implicits._
请参阅完整示例 here
请参阅完整示例 here