lustre安装配置V1.0

Lustre名字是由Linux和Clusters演化而来，是为解决海量存储问题而设计的全新文件系统。 
是下一代的集群文件系统，可支持10,000个节点，PB的存储量，100GB/S的传输速度，完美 
的安全性和可管理性。 
  目前Lustre已经运用在一些领域，例如HP SFS产品等。

  集群存储简介: 
  在集群里，一组独立的节点或主机可以象一个系统一样步调一致地工作。整个集群只有唯一 
的命名空间。厂商们也已经制造了一些软件和硬件设备，它们可以把不相干的文件系统融合成只使用一个命名空间的文件系统。用户可以访问并共

享其他用户的数据，而无需考虑是什么介质或其所处的是哪台主机。

  集群存储系统需要解决的最基本的问题： 
（1）提供共享访问数据，便于集群应用程序的编写和存储的负载均衡； 
（2）提供高性能的存储，在I/O级和数据吞吐率方面能满足成百上千台规模的Linux集群服务器聚合访问的需求

  与分布式文件系统相比： 
  数据不需要从一个文件系统拷贝或复制到另一个文件系统，通过集群系统共享应用和数据的任务执行起来要比在单独的设备上执行快得多； 
  集群可以为文件和文件系统提供更多的空间;

  因为只需要管理一个文件系统，而不再是每个存储设备或主机都需要一个文件系统，管理也更容易了；如果集群内的某台服务器出现了故障，另一台服务器就可以把它的工作接手过来，故障恢复也成为了现实； 用户也可以同时对位于其网络上的存储设备里的所有文件进行访问。

network type TCP/IP Network type used for Lustre file system temp

Centos 5.4    x86_64

ip    192.168.1.85    mds 
    roles    mdt1    oss1    client1 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/mdt 
    /dev/sda4    /mnt/ost1

ip    192.168.1.86    oss2 
    roles    oss2    client2 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/ost2

ip    192.168.1.87    oss3 
    roles    oss3    client3 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/ost3

lustre全局文件系统名字lustreFS 
MGS node     192.168.1.85@tcp0

1.下载安装 
http://wiki.lustre.org

cd lustre2 
rpm -Uvh e2fsprogs-1.41.10.sun2-0redhat.rhel5.x86_64.rpm 
rpm -ivh kernel*.rpm 
rpm -ivh lustre*.rpm

同步时间 
yum install ntp 
vi /etc/rc.local 
/usr/sbin/ntpdate stdtime.gov.hk

1. 加载模块,所有服务器上操作 
vi /etc/modprobe.conf 
options lnet networks=tcp

2.在mds上建立mdt文件系统 
mkfs.lustre –fsname=lustreFS –mgs –mdt /dev/sda3

3. 在mds上挂载mdt文件系统 
mkdir /mnt/mdt 
mount -t lustre /dev/sda3 /mnt/mdt

4. 在oss1,oss2,oss3上建立ost文件系统 
oss1 
mkfs.lustre –ost –fsname=lustreFS –mgsnode=192.168.1.85@tcp0 /dev/sda4

oss2和oss3 
mkfs.lustre –ost –fsname=lustreFS –mgsnode=192.168.1.85@tcp0 /dev/sda3

5.在每台oss上挂载ost 
oss1 
mkdir /mnt/ost1 
mount -t lustre /dev/sda4 /mnt/ost1

oss2 
mkdir /mnt/ost2 
mount -t lustre /dev/sda3 /mnt/ost2

oss3 
mkdir /mnt/ost3 
mount -t lustre /dev/sda3 /mnt/ost3

6.client挂载 
mkdir /lustre 
mount -t lustre 192.168.1.85@tcp0:/lustreFS /lustre

验证文件系统是否正常工作 
lfs df –h

测试lustre写入速度 
dd if=/dev/zero of=/lustre/test.img bs=1M count=5000

本机硬盘速度测试 
oss1 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 13.8092 seconds, 380 MB/s

oss2 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 24.5404 seconds, 214 MB/s

oss3 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 70.9517 seconds, 73.9 MB/s