使用Java API将Parquet格式写入HDFS,而无需使用Avro和MR

问题描述

实际上,没有外部框架的帮助,没有太多可用于读取/写入Apache Parquet文件的示例。

镶木地板库的核心是镶木地板列,您可以在其中找到一些直接读取/写入的测试文件https ://github.com/apache/parquet-mr/blob/master/parquet-column/src/test/java/org/ apache / parquet / io / TestColumnIO.java

更新:响应API弃用的部分:应将AvroWriteSupport替换为AvroParquetWriter,我检查ParquetWriter是否已弃用并且可以安全使用。

问候

解决方法

什么是简单的方式来写 镶木格式HDFS 通过(使用Java API) 直接创建平面架构 一个POJO的,不使用
的AvroMR

我发现的样品已经过时,并且使用不推荐使用的方法,还使用了Avro,spark或MR之一。

猜你在找的技术问答相关文章

如何检查配对的蓝牙设备是打印机还是扫描仪(Android)
是否允许实体正文进行HTTP DELETE请求?
如何将ZipInputStream转换为InputStream?
java.util.logging Java 8中的变量
PowerMockito.doReturn返回null
Java中的RESTful调用
Swing / Java:如何正确使用getText和setText字符串
特殊字符和重音字符
Android Studio中的ndk.dir错误
错误“找不到主类”