将数据从MySQL拉入Hadoop

MySQL 前端之家
前端之家收集整理的这篇文章主要介绍了将数据从MySQL拉入Hadoop，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

我刚刚开始学习Hadoop,我想知道以下内容：假设我有一堆我想分析的大型MySQL生产表.

>似乎我必须将所有表转储到文本文件中,以便将它们带入Hadoop文件系统 – 这是正确的,还是有某种方式可以让Hive或Pig或其他任何东西直接从MysqL访问数据？
>如果我将所有生产表转储到文本文件中,我是否需要担心在转储期间影响生产性能？ (它取决于表所使用的存储引擎吗？如果是这样我该怎么办？)
>将每个表转储到单个文件中,或将每个表拆分为64mb(或我的块大小)文件是否更好？

最佳答案
从MysqL导入数据非常容易.我建议你使用Cloudera的hadoop发行版,它带有名为’sqoop’的程序,它提供了非常简单的接口,可以直接从MysqL导入数据(也支持其他数据库).
Sqoop可以与MysqLdump或普通的mySQL查询一起使用(select * …).
使用此工具,无需手动将表分区为文件.但对于hadoop来说,拥有一个大文件要好得多.

有用的链接：
Sqoop User Guide

猜你在找的MySQL相关文章

Mysql通过frm和ibd恢复数据库
昨天的考试过程中，有个考点的服务器蓝屏重启后发现Mysql启动不了(5.6.45 x32版本，使用in...
MySQL 数据库中的数据类型
整数类型 标准 SQL 中支持 INTEGER 和 SMALLINT 这两种类型，MySQL 数据库除了支持这两种类...
MySQL Select 语句执行顺序
一条 SQL 查询语句结构如下： SELECT DISTINCT <select_list> FROM &lt...
MySQL 数据备份与恢复
数据备份 1. 备份数据库 使用 mysqldump 命令可以将数据库中的数据备份成一个文本文件，表...
MySQL 大表拆分
概述 在实际工作中，在关系数据库（MySQL、PostgreSQL）的单表数据量上亿后，往往会出现查...
MySQL 索引详解
索引的含义和特点 索引是创建在表上的，是对数据库表中一列或多列的值进行排序的一种数据结...
MySQL 索引失效场景总结
查询条件有 or 假设在 customer_name 字段设置了普通索引，执行以下 sql： # type: ref, p...
MySQL 主从复制
概述 MySQL 的高可用主要通过主从复制来实现，同时在主从复制的基础上可以构建一个 MySQL ...
MySQL 日志管理
概述 日志文件记录 MySQL 数据库运行期间发生的变化，当数据库遭到意外的损害时，可以通过...
MySQL 事务和锁
事务概述 当多个用户访问同一份数据时，一个用户在更改数据的过程中，可能有其他用户同时发...
MySQLMsSQLOracleSqlitePostgre SQLMariadbMongoDBNoSQLHBaseJDBC
undo日志persistent-cmysql-error-postal-codesql-match-almysql-5.6mysql-8.0database-tri安装路径系统错误data_dir丢失文件主从同步sql_mode数据库目录匿名用户character_seID归零数据库位置查询表重复字段查询字段截断日志SUSPECT7391Remote ServeLinked Serve玄学问题登录不上开启远程访问