rsync – 前向同步到HDFS？ (或继续不完整的hdfs上传？)

Linux 前端之家
前端之家收集整理的这篇文章主要介绍了rsync – 前向同步到HDFS？ (或继续不完整的hdfs上传？)，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。
任何人都有一个很好的建议,正确同步到HDFS？ (“正向同步”与“双向同步”相反)

基本上我有大量的文件要放入HDFS.它如此之大,以至于我常常会在完成之前失去连接.我想做的只是做一个文件上传的“简历”.但是,hadoop fs -put将只重新上传整个目录(或者如果存在则进行抱怨).@H_403_3@

任何人都有一个很好的方法来继续不完整的hdfs上传？@H_403_3@

解决方法

如果你正在运行一个足够新的Hadoop,你可以使用FUSE挂载hdfs并只使用rsync.

也可以构建一个仅限本地的hdfs,然后使用distcp.@H_403_3@

猜你在找的Linux相关文章

文件查找---find
文件查找（find） 1 find 简单的说，就是实时查找指定的内容或条件。特点：最新、最快、最...
非交互式添加分区
非交互式添加分区 方法一 添加/deb/sdb 下的分区，其实位置为1到1000M，第二个分区位置为1...
编译安装httpd
编译安装httpd 1 去官网下载源码包 为避免非法软件，一定要去官网下载http://www.apache.o...
磁盘分区-gdisk用法
gdisk用法 gdisk - InteractiveGUIDpartitiontable (GPT) manipulator GPTfdisk (akagdisk...
Linux常用快捷按键
1 一定用快捷键 这里简单的说下几个常用的快捷按键。 1.1 移动光标快捷键 Crtl + a 光...
文件的压缩与解压
文件的压缩与解压 常用命令和参数 1 gzip -c 将压缩或解压的结果输出至标准输出 -d 解压缩...
合并 CentOS 6.8 的两个ISO镜像
合并 CentOS 6.8 的两个ISO镜像 1、创建相关目录： 说明： /mnt/dvd1和/mnt/dvd2 用于挂载...
常用的文件查看命令
常用的文件查看命令 1 cat 常用参数 -n 显示行号 -E 显示行尾结束符 $ -b 显示非空行编号 ...
挂载mount
mount 1 挂载mount 基本概念 挂载：将额外文件系统与根文件系统现存的目录建立起关联关系，...
部署DNS服务
DNS，全称Domain Name System，即域名解析系统 。 DNS功能 主机名到IP地址的映射有两种方式...
LinuxWindowsCentOSUbuntuNginxWebServiceScalaMemcacheApacheRedisDockerBashAzureTomcatLNMPShell数据结构服务器运维网络安全
xebugnodemondocker-copydcoselasticsearcwindows-contdocker-windodocker-awsamazon-cloudenvoyproxyhashicorp-vaswisscomdevkafka-pythonzscalerphoton-osdocker-swarmkamongoogle-cloudconcoursewso2-ampersistent-vapi-managerprocess-manamanjarojenkins-workhypriotremoteapikeystonejsbitcoindbitcoin-test