问题:我需要尽快将大块数据从远程位置复制到系统内存中.
场景:我有一个数据处理系统.该系统是通过shell脚本使用从远程位置引入的多个组件即时构建的.
其中一个组件是作为文件组存储的大块数据.
我的要求是从远程位置检索大块数据并尽快将其安装到系统内存中.这是一项要求,以便依赖此数据的系统可以在启动后尽快开始使用它进行处理.
问题:“我的数据最有效的容器是什么?”
已尝试/考虑的解决方案:
> ISO文件:需要用于创建和阅读的工具,这些工具通常不是原生的
> TAR文件:提取可能需要很长时间
>远程文件系统挂载为local:slow因为内容需要复制到内存中
> LVM快照:更多地用于备份,而不是为了恢复速度而构建
笔记:
>数据丢失不是主要问题.
>远程文件传输过程不是主要问题,因为我已经有了足够的工具.
>该系统目前正在使用Ubuntu Linux.