博客公告：

(1)本博客所有博客文章搬迁至《博客虫》http://blogchong.com/

(2)文章对应的源码下载链接参考博客虫网站首页的“代码GIT”；

(3)更多的相关文章更新，以及代码等，请关注博客虫网站，网站中有技术Q群，以及代码共享链接。

(4)该博客内容还会继续更新，不过会慢一些。

该文档为原创文档，若要转载，请标明出处：http://blog.sina.com.cn/s/blog_8c243ea30101imfs.html

类型

详细

备注

该文档为Lustre调研文档的一部分，关于软硬件依赖部署

相关描述

² 其他相关文档请参考新浪博客 http://blog.sina.com.cn/huangchongyuan

² 部分文档涉及到源码，有需要的博客留言

²欢迎加入storm-分布式-IT技术交流群（191321336，群中有详细的资料），一起讨论技术，一起分享代码，一起分享设计。

1 Lustre对操作系统的版本依赖

资料参考：http://downloads.whamcloud.com/public/lustre/

Lustre-Version

servser

client

Luster-1.8.6-wcl

el5: i686 x86_64

el6: i686 x86_64

Luster-1.8.7-wcl

el5: i686 x86_64

el6: i686 x86_64

Luster-1.8.8-wcl

el5: i686 x86_64

el6: i686 x86_64

Luster-1.8.9-wcl

el5: i686 x86_64

el6: i686 x86_64

Luster-2.1.0

el5: x86_64

el6: x86_64

el5: i686 x86_64

el6: i686 x86_64

sles11: x86_64

Luster-2.1.1

el5: x86_64

el6: x86_64

el5: i686 x86_64

el6: i686 x86_64

sles11: x86_64

Luster-2.1.2

el5: x86_64

el6: x86_64

el5: i686 x86_64

el6: i686 x86_64

sles11: x86_64

Luster-2.1.3

el5: x86_64

el6: x86_64

el5: i686 x86_64

el6: i686 x86_64

sles11: x86_64

Luster-2.1.4

el5: x86_64

el6: x86_64

el5: i686 x86_64

el6: i686 x86_64

sles11: x86_64

Luster-2.1.5

el5: x86_64

el6: x86_64

el5: i686 x86_64

el6: i686 x86_64

sles11: x86_64

Luster-2.1.6

el5: x86_64

el6: x86_64

el5: x86_64

el6: x86_64

sles11: x86_64

Luster-2.2.0

el6: x86_64

el5: i686 x86_64

el6: i686 x86_64

sles11: x86_64

Luster-2.3.0

el6: x86_64

el5: x86_64

el6: x86_64

sles11: x86_64

Luster-2.4.0

el6: x86_64

sles11sp2: x86_64

注：上表为各个lustre对操作系统的安装要求。

2 Lustre部署硬件需求

硬件

角色

详细描述

cpu

MDS/MDT

Ø 只有64位系统是经过官方测试及其所明确表示支持的

Ø 推荐最少使用4核的cpu

Ø 64位cpu能够使系统避免有4GBRAM、16TB文件大小的限制

Ø cpu 性能升高，有助于系统性能的提升

OSS

Ø 推荐最少使用4核64位cpu

Client

Ø 推荐最少使用64位cpu

内存

MDS/MDT

Ø MDS内存考虑因素：Number of clients;Size of thedirectories;Load placed on server

Ø 消耗内存的进程：File system Metadata;Networktransport;Journal size;Failover configuration

Ø 内存量升高有助于明显提升性能

OSS

Ø 内存消耗需求：Serivice threads;OSS read cache

Ø 单个OST最少需要3G的内存，若需要做failover则需要5G的内存

Client

Ø 最少需要2G的内存

存储设备

MDS/MDT

Ø 对于磁盘要求有较短的数据查找反应时间

Ø 磁盘需满足大数量小文件的查找

Ø 推荐使用high-RPM的SAS或者是SSD盘

Ø 推荐使用RAID6，保证数据的安全

OSS/OST

Ø 要求有较高的磁盘I/O

Ø 考虑磁盘数量及成本，推荐使用SATA盘

Ø 底层磁盘推荐做RAID6，保证数据安全

Ø 单个OSS最多多8个OST

Client

Ø 客户端与存储设备没有直接的接口，对存储设备没有需求

其他

---

Ø 网络推荐进行网卡绑定

Ø 推荐使用Infiniband网络，但成本会较高

Ø 服务器的PAGE_SIZE不能大于客户端的PAGE_SIZE

注：该部分参考自Lustre Manual 2X.pdf

3 Lustre属性限制

Limit	Value
Maximum number of MDTs	4096
Maximum number of OSTs	8150
Maximum OST size	128TB
Maximum number of clients	131072
Maximum size of a file system	512 PB
Maximum stripe count	2000
Maximum stripe size	< 4 GB
Minimum stripe size	64 KB
Maximum object size	16 TB
Maximum file size	16 TBon 32-bit systems 31.25 PBon 64-bit systems
Maximum number of files or sub-directories in asingle directory	10 million files
Maximumnumber offiles in the file system	4096 * 4 billion
Maximum length of a filename	255 bytes (filename)
Maximum length of a pathname	4096 bytes(path-name)
Maximumnumber ofopen files for Lustre file systems	None

注：该表参考自Lustre Manual2X.pdf，且其数值参照版本为Lustre2.4.0

Lustre部署软硬件依赖

1 Lustre对操作系统的版本依赖

2 Lustre部署硬件需求

3 Lustre属性限制

猜你在找的设计模式相关文章