Sqoop oracle导到hive 由于存在空字符导致字段错位和丢失错误

前端之家收集整理的这篇文章主要介绍了Sqoop oracle导到hive 由于存在空字符导致字段错位和丢失错误前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

感谢分享:http://blog.csdn.net/chaiyiping/article/details/40622507

Sqoop从oracle导入数据到hive,示例:

[plain] view plain copy
  1. sqoopimport--connectjdbc:oracle:thin:@oracle-host:port:orcl--usernamename--passwordpasswd--hive-import-tabletablename

如果不加其他参数,导入的数据默认的列分隔符是'\001',默认的行分隔符是'\n'。

这样问题就来了,如果导入的数据中有'\n',hive会认为一行已经结束,后面的数据被分割成下一行。这种情况下,导入之后hive中数据的行数就比原先数据库中的多,而且会出现数据不一致的情况。

Sqoop也指定了参数--fields-terminated-by--lines-terminated-by自定义行分隔符和列分隔符。

可是当你真的这么做时.........o(╯□╰)o就会出现如下错误

copy

    INFOhive.HiveImport:Failed:SemanticException1:381LINESTERMINATEDBYonlysupportsnewline'\n'rightnow.
也就是说虽然你通过 --lines-terminated-by 指定了其他的字符作为行分隔符,但是hive只支持'\n'作为行分隔符。

简单的解决办法就是加上参数--hive-drop-import-delims来把导入数据中包含的hive默认的分隔符去掉。

猜你在找的Oracle相关文章