我的lustre安装手记
时间:2010-12-19 来源:garyybl
我的lustre安装手记
Lustre的安装过程,网上也有一些,但都是较老的版本。而安装过程也与目前的最新版本1.8有些出入,笔者下载并安装了最新版1.8,于是便有了这篇安装手记。
Lustre主页:http://wiki.lustre.org/index.php/Main_Page
点下载会把你带到sun的网站,如果你下载1.8.1的话,会让你注册。虽然说软件是免费的,但是获得的话必需注册,不知道出于啥考虑,反正耽搁几分钟,你就能来到下载页面。
一个一个下载,你将获得下面这些软件包。
e2fsprogs-1.41.6.sun1-0redhat.rhel5.i386.rpm
kernel-lustre-2.6.18-128.1.14.el5_lustre.1.8.1.i686.rpm
lustre-1.8.1-2.6.18_128.1.14.el5_lustre.1.8.1.i686.rpm
lustre-client-1.8.1-2.6.18_128.1.14.el5_lustre.1.8.1.i686.rpm
lustre-client-modules-1.8.1-2.6.18_128.1.14.el5_lustre.1.8.1.i686.rpm
lustre-ldiskfs-3.0.9-2.6.18_128.1.14.el5_lustre.1.8.1.i686.rpm
lustre-modules-1.8.1-2.6.18_128.1.14.el5_lustre.1.8.1.i686.rpm
在正式安装以前,我们按惯例说一下lustre的组成部分。同moosfs一样,也是由三部分组成。Master部分叫作mds,chunkserver部分叫ost,再有就是客户端。笔者测试的系统是centos5.3 kernel:2.6.18-128.el5
网络环境:
mds:192.168.1.247
ost1:192.168.1.248
ost2:192.168.1.249
1.安装lustre
将下载的软件包拷贝到三台机器上,执行命令:
rpm -ivh -aid --force *.rpm
安装完成后,grub被自动修改为已经修改过内核的启动项,直接重启机器即可。
2.在mds服务器执行以下操作
modprobe lustre
modprobe ldiskfs
modprobe lnet 'network="tcp0(eth0)"'
mkfs.lustre --fsname=test --mdt --mgs /dev/sdb1
注:如果硬盘没有被格式化或者里面有数据的话需要加 --reformat参数格式化!
mkdir /mnt/lustre
mount.lustre /dev/sdb1 /mnt/lustre
3.在两台 ost 上执行以下操作
modprobe lustre
modprobe ldiskfs
modprobe lnet 'network="tcp0(eth0)"'
mkfs.lustre --fsname=test --ost --mgsnode=192.168.1.247@tcp0 /dev/sdb1
#同样如果 sdb1 没有被格式化或者有数据必须加 --reformat参数
mkdir /mnt/lustre
modprobe lustre
modprobe ldiskfs
modprobe lnet 'network="tcp0(eth0)"'
mkfs.lustre --fsname=test --mdt --mgs /dev/sdb1
注:如果硬盘没有被格式化或者里面有数据的话需要加 --reformat参数格式化!
mkdir /mnt/lustre
mount.lustre /dev/sdb1 /mnt/lustre
3.在两台 ost 上执行以下操作
modprobe lustre
modprobe ldiskfs
modprobe lnet 'network="tcp0(eth0)"'
mkfs.lustre --fsname=test --ost --mgsnode=192.168.1.247@tcp0 /dev/sdb1
#同样如果 sdb1 没有被格式化或者有数据必须加 --reformat参数
mkdir /mnt/lustre
mount.lustre /dev/sdb1 /mnt/lustre
另一台机器上,也执行同样的操作,这样就把lustre的分布文件系统建立起来了。
4.在 client服务器上执行
mount.lustre 192.168.1.247@tcp0:/test /mnt
4.在 client服务器上执行
mount.lustre 192.168.1.247@tcp0:/test /mnt
这样,我们就轻松的把lustre的系统挂载到了/mnt。你可以对这块系统进行读写操作了。
5.停止lustre文件系统
按照lustre的启动顺序完全相反的的顺序停止。先停止客户机,再停止ost,再停止mds。
5.停止lustre文件系统
按照lustre的启动顺序完全相反的的顺序停止。先停止客户机,再停止ost,再停止mds。
后记:
对lustre的系统的测试纯属偶然。因为要做samba的群集,所以想到了使用分布式文件系统。而笔者最先测试的分布式文件系统是moosfs(mfs)。还好mfs无论安装还是运行都很简单。也是通过mfs笔者建立起了分布式系统的概念。但是mfs目前还不能做到在分布式系统上启动磁盘配额。而经过google,笔者发现lustre有这样的特性,于是安装测试。还好笔者已经在脑子里建立起了分布式系统的概念,不然一上来就要编译内核,这样那样的配置真能把人搞晕了。虽然最后笔者对lustre启动磁盘配额的测试以失败告终。但是笔者还是很高兴认识了分布式系统中的两大成员:moosfs和lustre。简要的说一下笔者的感受吧J
Moosfs短小精悍的轻量级分布式系统,无论安装还是部署都很简单,而读写效率上也不差,唯一的缺点就是master只有一个,这样万一出现单点故障,将很让人恼火(但这依然不能用不上笔者对mfs喜爱有加)。Lustre出道已经很长时间了,算是重量级的分布式系统了。需要重新编译内核,当然现在的版本用rpm安装还是比较方便的,但是也免不了繁琐的配置,稳定方面自然不用说。但是这次测试的quota没有测试成功,一启用quota,mds端就是一堆报错,希望是我个人的配置问题。
相关阅读 更多 +