CEPH分布式存储部署

CEPH分布式存储部署PS：本文的所有操作均在mon节点的主机进行，如有变动另有注释作者：网络技术部徐志权口期：2014年2月10口VERSION1.0更新历史：2011.2.10:首次完成gph部署文档，块设备及对象存储的配置随后添加。部署前网络规划1.1环境部署主机名公网IP(ethO)私网IP(ethl)操作系统运行服务nodel0101CentOS6.5nion、mdsnode20202CentOS6.5osdnode30303CentOS6.5osd♦操作系统使用CentOSG.5,因为系统己经包含xfs的支持可以直接使用不需要再次编译。由于CentOSG.5系统的内核为2.6.32,因此要关闭硕盘的写入缓存，若高于此版本不需要关闭。#hdparm~W0/dev/sdb0本次部署一共有一个监控节点、一个元数据节点、两个数据节点，每个数据节点拥有两个硬盘作为数据盘。1.2网络拓扑公网主机名；nodol主机名；nodc2主机名；公网主机名；nodol主机名；nodc2主机名；nodc3私网1.3配置服务器、安装ceph添加ceph的rpm库key#rpm—importhttps：//ceph・com/git/?p二ceph・git;a=blob__plain;f二keys/release・asc'#rpm—importhttps：//ceph・com/git/?p二ceph・git;a=blobplain;f二keys/sutobuild・asc'•添加ceph-extras库#vi/etc/yum.repos・d/ceph一extras_ceph-extras]name=CephExtrasPackagesbaseurl=http://ceph・com/packages/ceph一己xtras/rpm/centos6/$basearchenabled=lpriority=2gpgcheck=ltype=rpm"mdgpgkey=https://cEph・com/git/?p=ceph.git;a=blob_plain;f=keys/release・asc_ceph~extras~noarch]name=CephExtrasnoarchbaseurl=http://ceph・com/packages/ceph一己xtras/rpm/centos6/noarchenabled=lpriority=2gpgcheck=ltype=rpm"mdgpgkey=https://cEph・com/git/?p=ceph.git;a=blob_plain;f=keys/release・asc_ceph-ext:ras-source]name=CephExtrasSourcesbaseurl=http://ceph・com/packages/ceph一己xtras/rpm/centos6/SRPMSenabled=lpriority=2gpgcheck=ltype=rpm"mdgpgkey=https://cEph・com/git/?p=ceph.git;a=blob_plain;f=keys/release・asc添加ceph库#rpm~Uvhhttp：//ceph・com/rpms/el6/noarch/ceph~release~l一0.el6・noarch・rpm添加epel库#rpm~Uvhhttp://d1.fedoraproject・org/pub/epel/6/x86_64/epel一release一6一8・noarch・rpm安装ceph#yumupdat己~y&&yuminstallceph~y

二*部署ceph2.1创建一个集群创建一个集群，集群名为ceph,在mon节点，这里是主机nodeb执行以下操作2.1.1获取一个uuid#uuidg^n2.1.2编辑配置文件#vi/etc/ceph/ceph.conf[global]auth_service_required=cephx#fi1estore_xattr_use__omap=true#该选项只针对extd文件系统格式auth_client_required=cephxauth_cluster_required=cephxauthsupported=nonefsid=a500528d~fc02~464e~b944-bddacbb5c3dl#填入刚才获取到的uuidpublicnetwork=/24clusternetwork=/24osdpooldefauItsize=2osdpooldefauItminsize=1maxopenfiles=65535monosdfull:ratio=・95monosdnearfullratio=・85[mon]mondata=/datb/$cluste:r-$id[osd]osdjournalsize=1024osdjournal=/data/$name/journalosddata=/datE/$nam己2.2创建一个mon2.2.1编辑配置文件，添加mon参数#vi/etc/ceph/ceph.conf[mon・nodel]host=nodelmonaddr=01:67892.2.2创建一个monkeyring#ceph~authtool/etc/ceph/ceph.mon.keyring一一create一keyring一一gen~key一nmon.2.2.3创建mon数据目录#mkdir-p/data/ceph-nodel#ceph~mon一inodel一一mkfs一一keyring/etc/ceph/ceph.mon.keyring2.2・4启动并查看集群状态#/etc/init・d/cephstartmon.nodel#ceph-s出现以下提示，启动成功：[root©nodel、]#ceph-sclustera500528d~fc02~464e-b944"bddacbb5c3dlhealthHEALTH_ERR192pgsstuckinactive;192pgsstuckunclean;noosdsmonmapel:1monsat{nodel=192・168.100.101:6789/0},electionepoch2,quorum0nodelosdmapel:0osds:0up,0inpgmapv2:192pgs,3pools,0bytesdata,0objects0kBused,0kB/0kBavail192creating2.3创建一个osd首先为节点添加一块硬盘（这里是主机node2）PS：硬件支持热插拔的情况卜可以使用以下命令，在线检测新増硬盘#echo”——M>/sys/class/scsijiost/host2/scaii2.3.1获取osd的ED##cephosdcreate〃记录得到的编号，该编号是下面创建的osd的ID2・3・2编辑配置文件#vi/etc/ceplvceph.conf添加[osd.O]publicaddi=02clusteraddi=022.3.3同步配置文档到节点node2#scp-rroot®01:/etc/ceplvroot©02:/etc/2.3.4部署osd节点#sshioot@192・168.100.102^parted/dev/sdbniktablegpt^parted/dev/sdbnikpartosd.O120g〃新加的硕盘为20g,并将所有空河划分为一个分区#nikfs-txfs/dev/sdb1#nikdk/data/osd.OAmount/dev/sdb1/data/osd.O#ceph-osd-i0-nikfs-nikkey#cephauthaddosd.Oosd'allow**mon'allowrwx'-i/data/osd.O/keyiiiig#cephosdcmshaddosd.O0.2root=defaulthost=node22.3.5启动osd进程#ceph-osd-i023.6查看进程#ps-ef|grepceph-osd以下提示启动成功[root@node2〜]#ps-efjgrepceph-osdroot13641008:42?00:00:07ceph-osd-102.3.7查看osd状态#exit#cephosdstatosd添加成功[root@nodel〜]#cephosdstatosdinape41:1osds:1up,1in2.3.8开机自动启动#vi/etc/fstab添加/dev/sdb1/data/osd.Oxfsdefaults00#echoMceph-osd-i0"»/etc/rc.local2.4创建一个mds创建mds#ceph-mds-inodel-nmds.node1・c/etc/ceplvceph.conf-m192・168.100.101:6789检查mds状态，成功启动如下[root@nodel〜]#cephmdsstate!9:1/1/1up{0=node1=up:active}三、配置ceph客户端3.1确定操作系统内核3.1.1查看内核版本#uname-1若内核版本低于2.6.32时，建议升级到2.6.34或以上3丄2更新内核，编译ceph模块这里以升级到3.10.29为例#wg筑https://www.keni亡l・OT0pi】blinux/keniel/v3・x/1idi】x-3・10・29・tar.xz#tar-Jxvflinux-3.10.29.tar.xz#cdliiiux-3.10.29#cp/boot/coiifig-2.6.32-431.3.1.el6.x86_64./.config〃将当前系统内核的配置文件复制到kemel源文件的目录内彳makemenuconfig依次选择下面选项，ceph必须编译为模块MFilesystemsN亡twoikFileSystemsCephdistributedfilesystemRPC：Enabledprintkdebugging<M>cifssupportCadvanced^nework保存并退出彳make彳makemodules_iiistall彳makeinstall确定boot木有下存在以下文件[root@nodellinux-3.10.29]#11/boot/|grep3.10initranifs-3.10.29.imgSystem.map->/boot/Svstem.map-3.10.29System.map-3.10.29vnilinuz->/boot/vinlinuz-3.10.29vnilinuz-3.10.29更改gmb.conf#vi/etc/gmb.conf添加titleCentOS(3.10.29)root(hd0,0)kernel/vnilinuz-3.10.29ioroot=/dev/iiiapperA^blGroup-lv_.rootid_NO_LUKSLANG=enUS.UTF-8rdNOMDrdLVMLV=VolGioup/lvswapSYSFONT=lataicyrheb-sunl6ciaslikernel=autoid_LVM_LV=WlGioiip/lv_iootKEYBOARDTYPE=pcKEYTABLE=usid_NO_DMrhgbquietinitid/iiiitramfs-3.10.29.ung34配置文件目录共享客户端PS:确定已经运行一个ceph集群，并且集群包含至少一个或以上mds节点挂载ceph分布式存储文件目录共享以下在客户端上操作#yuminstallceph-fiise-y#ceph-fiise-m01:6789/milt测试写入1G文件#ddif=/dev/zeioof^/iiiiit/test.lgbs=8192count=125000U!I>cephU!I>ceph扩容4.1增加osd节点（以下操作在nodel执行•即mon节点）根据第一章在新的节点node3服务器安装ceph,并配置好环境4.1.1获取osd的ED##cephosdcreate//记录得到的编号，该编号是下面创建的osd的ED4.1.2编辑配置文件#vi/etc/ceplvceph.conf添加[osd.l]publicaddr=03clusteraddr=034.1.3同步配置文档到节点node3#scp-rroot@01:/etc/ceplvroot@03:/etc/4.1.4部署osd节点#sshroot@03^parted/dev/sdbniktablegpt^parted/dev/sdbnikpartosd.l120g〃新加的硕盘为20g,并将所有空间划分为一个分区#nikfs-txfs/dev/sdb1#nikdii--p/data/osd.lAmount/dev/sdb1/data/osd.1#ceph-osd-i1--nikfs—nikkey#cephauthaddosd.losd'allow**monallowrwx°-i/data/osd.1/keyiiiig#cephosdcmshaddosd.l0.2root=defaulthost=node24.1.5启动osd进程#ceph-osd-i14.1.6查看进程#ps-ef|giepceph-osd以下提示启动成功[root@node3~]#ps-ef]grepceph-osdroot13641008:42?00:00:07ceph-osd-104.1.7查看osd状态#exit#gphosdstatosd添加成功[root@nodel〜]#cephosdstatosdmape41:2osds:2up,2in4.2增加mom以下操作在主机node2执行）PS：每台主机只能为wph集群启动一个moil进程PS2：集群中只有两个mon节点时，其中一个断开会导致集群不能访问，建议mon总数3个或以上。本次mon将部署在主机node24.2.3创建新的monitor数据目录彳mkdir/data/ceph-node24.2.4部署新的mon#cephauthgetmon.-o/data/ceph-node2/ceph.mon.kevrmg#cephmongetmap-o/data-zceph-node2/ceph.mon.niap#ceph-mon-inode2-nikfs—moimiap/data//ceph-node2/ceph.mon.map-kevrmg\/data/ceph-node2/ceph.mon.keyrmg#cephmonaddnode202:67894.2.1启动新的mon#ceph-mon-inode2-public-addr02:6789五、检查ceph集群状态#cephhealth//ceph健康状态#ciphstatus//ceph当前全部状态#ceph-w〃实时监控ceph状态及变化#ciphosddump〃所有osd详细状态#gphosdtree//osd所在位置，及状态#ciphquoiiim_status//mon优先级状态#ciphmondump//moil节点状态#ciphmdsdump//mds详细状态六、Openstack与Ceph整合6.1整合openstack与ceph6.L1创建池#cephosdpoolcreatevolumes128#cephosdpoolcreateimages128#cephosdpoolcreatebackups1286.1.2获取ceph配置文件PS:应用J•openstack所有节点#scp-r3:/etc/ceph/etc6.13所有openstack节点安装ceph库文件#yuminstall-vpython-cephceph6.1.4创建ceph用户#cephauthget-or-createclient.cmdermon'allowFosd*allowclass-readobject_prefixrbd_childien.allowrwxpool=volumes,allowrxpool=miages*#cephauthget-or-createclient.glancemon'allowFosd'allowclass-readobject_prefixrbd_childien.allowrwxpool=iniages*#cephauthget-or-createclient.cmder-backupmon'allowFosd'allowclass-readobject_prefixrbd_childien.allowrwxpool=backups*6.1.5获取ceph用户的key加入到ceph配置文件中PS:应用J•openstack所有节点#cephauthget-or-createclient.glance|tee/etc/ceplvceph.client.glaiice.keyringchownglance:glaiice/etc/ceplVceph.client.glance.keyiing#cephauthget-or-createclient.cmder|tee/etc/ceplVceph.client.cinder.keyiingchownciiide匚cind亡［/etc/ceplvceph.client.cmder.kevrmg#cephauthget-or-createclient.cmder-backup|tee/etc/ceph/ceph.client.ciiider-backup.keyrmgchownciiide匚cind亡［/etc/ceplvceph.client.cmdei-backup.keyriiig6.1.6配置计算节点的nova-compute使用cephPS:应,l|］T所有计篦节点#cephauthget-keyclient.cinderteeclient.ciiider.key#uuidgen3a37c634-3b97-698c-c0b0-cb6f01fa4533#cat>seciet.xiiil«EOF<secretephemeral=,no,private=,no,><uuid>3a37c634-3b97-698c-c0b0-cb6f01fa4533</uuid><usagetype=,ceph*><name>client.ciiidersecret</name></usage></seciet>EOF#viishsecret-define-filesecret.xmlSecret3a37c634-3b97-698c-c0b0-cb6f01fa4533created将上述所得uuid值保存至/etc/nova/nova.confibd_secret_uuid=3a37c634-3b97-698c-c0b0-cb6f01fa4533#viishsecret-set-value-secret3a37c634-3b97-698c-c0b0-cb6f01fa4533-base64$(catclient.cinder.key)6.1.7glance>cinder、nova的ceph配置Glance：default_stoie=rbdibd_store_usei-glancerbd_store_pool=unagesshow_iinage_duect_url=TiiieCinder：volume_dnver=cmder.