linux – 需要一个高效的数据容器.尽快从存储转移到内存

前端之家收集整理的这篇文章主要介绍了linux – 需要一个高效的数据容器.尽快从存储转移到内存前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
问题:我需要尽快将大块数据从远程位置复制到系统内存中.

场景:我有一个数据处理系统.该系统是通过shell脚本使用从远程位置引入的多个组件即时构建的.

其中一个组件是作为文件组存储的大块数据.

我的要求是从远程位置检索大块数据并尽快将其安装到系统内存中.这是一项要求,以便依赖此数据的系统可以在启动后尽快开始使用它进行处理.

问题:“我的数据最有效的容器是什么?”

已尝试/考虑的解决方案:

> ISO文件:需要用于创建和阅读的工具,这些工具通常不是原生的
> TAR文件提取可能需要很长时间
>远程文件系统挂载为local:slow因为内容需要复制到内存中
> LVM快照:更多地用于备份,而不是为了恢复速度而构建

笔记:

>数据丢失不是主要问题.
>远程文件传输过程不是主要问题,因为我已经有了足够的工具.
>该系统目前正在使用Ubuntu Linux.

解决方法

“远程文件传输程序不是主要问题,因为我已经有了足够的工具.”

如果您已经传输了文件,我建议使用mmap(2).

猜你在找的Linux相关文章