-2面向数据密集型应用的lustre文件系统.ppt

1、高能所的数据密集型科学计算 Lustre在高能所的部署经验 问题和需求,大纲,应用背景：高能物理实验,北京正负电子对撞机上的北京谱仪（BESIII）实验 羊八井宇宙线实验 大型强子对撞机LHC上的ATLAS,CMS实验 大亚湾中微子实验,高能所计算存储环境,7000 多个CPU内核,约5PB的磁带存储,登录，监控，调度等服务,近2 PB Lustre磁盘存储,数据密集型，高吞吐率(high throughput)计算 大文件，写一次，读多次 读带宽: 0.5,6 MB/s 写带宽: 0.1 MB/s 没有热点文件 大块读写，跳读,I/O特征,2008.8 开始在生产系统部署Lustre，1.6

2、.5 2010.1 升级到1.8.1.1 2011.7 升级到1.8.5 30个OSS, 300多个OST 近2PB的存储空间，1亿个文件，理论聚合带宽24GB/s,Lustre在高能所的部署,Lustre在高能所的部署,Computing Cluster,SATA Disk Array RAID 6（Main）,10Gb Ethernet,MDS,OSS N,SATA Disk Array RAID 6（extended）,OST,MDT (SAS+RAID10),OST,实际性能,单个OSS 连接 4 个盘阵, 8 个OSTs 每个盘阵大约服务 50个 读写进程 读性能, 225 MB/s

3、/disk array 乘以服务器数量，系统的理论聚合带宽24 GB/s,文件分布模式 磁盘池，区分不同的应用 Stripe=1，针对高吞吐率计算 fsck 每年检修一次 错误数据，删除，从备份中恢复 用户管理 crontab脚本，同步用户数据库 基于目录的quota 脚本，每天检查一次,系统管理,Lustre 底层信息监控 /proc 主机信息监控 ganglia iostat 服务器日志汇总，过滤 syslog-ng,监控,磁盘水位报警 : lfs df 服务器连接报警: lctl ping 客户端可用性报警: 写文件到多个OST,故障报警,已解决的问题,32位服务器OSS频繁死机 改成6

4、4位操作系统 双网卡登录节点频繁死机 对lnet模块网卡绑定 timeout值太小，造成客户端不稳定 lctl set_param timeout MDS 的可靠性 LVM 快照+定期备份 计划实施DRBD Lustre 客户端内存使用控制 lctl set_param max_cache_mb,已解决的问题（2）,1.8.1.1版本的服务器内存使用控制 echo 0/proc/fs/lustre/obdfileter/OSTXXX/read_ahead_cache_enable 服务器死机故障分析 crashdump + kernel-lustre-debuginfo 1.8.1.1,客户端死机后，服务器的CPU出现soft stuck，直到死机的客户端重启后，才能恢复正常。 升级至1.8.5 以后故障不再重现 个别客户端ptlrpc-recov进程占用CPU 100%，无法杀掉，无法正常重启 升级至1.8.5 以后故障不再重现,1.8.5 版本存在的bug 导致服务器在读写频繁时会自动重启 HP G6服务器无法产生crash dump输出 可能与1.8.5版本中的cciss硬件驱动有关 G7 服务器上没有 32位客户端节点频繁死机 du, ls lr 等操作会消耗大量的客户端Normal memory 临时措施，禁用du 操作 等待客户端完