ceph分布式存储介绍

Ceph储1 CephCephPhDSageWeil在UniversityofCalifornia,SantaCruUCSCephLinux1.1CephCeph图1Ceph1“I/O”际文件I/O生之间这样更高层次POSIX例打、闭、重命名就不过POSIX例读）2过Ceph这就之间层ExtentandB-tree-basedObjectFileSystem[EBOFS]复层叫做ReliableAutonomicDistributedObjectStorgRADOS识别组件故障随知。图2ceph1.2Ceph组件 了解了Ceph的概念架构之后，您可以挖掘到另一个层次，了解在Ceph中实现的主要组件。Ceph和传统的文件系统之间的重要差异之一就是，它将智能都用在了生态环境而不是文件系统本身。图3显示了一个简单的Ceph生态系统。CephClient是Ceph文件系统的用户。CephMetadataDaemon提供了元数据服务器，而CephObjectStorageDaemon提供了实际存储（对数据和元数据两者）。最后，CephMonitorCeph（）么，这个文件系统是如何分布的呢？3CephTh态系统1.3 Ceph客户端 因为 Linux显示文件系统的一个公共界面（通过虚拟文件系统交换机 [VFS]），Ceph的用户透视图就是透明的。管理员的透视图肯定是不的，考到多服务器存储系统这一在因（要多Ceph集群的，分）。用户的，容量的存储系统，不面一个容量的存储的元数据服务器，监视器，有的对象存储。用户是简单到一个点，在这点可以文件 。Ceph文件系统 —或者至少是客户端接口—在 Linux内核中实现。值得注意的是，在多数文件系统中，所有的控制和智能在内核的文件系统源本身中。但是，在 Ceph中，文件系统的智能分布在节点，这简化了客户端接口，并为 Ceph提供了规模（甚至动态）扩展能力。Ceph趣选依赖配列表（磁盘块映射指）Linux配来自inodenumber（INO）于唯识符然被推入些（小）使用INO和objectnumber（ONO）每IOID。在OID上使用简单的哈希，每被放置组。放置组标识为PGID是的概念容器。最后，放置组存储设备的映射是伪随机映射，使用叫做ControlledReplicationUnderScalableHashingCRUSH的算法。这样一来，放置组以及副本存储设备的映射就不用依赖任何元数据，而是依赖伪随机的映射函数。这种操作是理想的，因为它把存储的开销最小化，简化了和数据查询。PGID。1.4Ceph元数据服务器元数据服务器cmd的工作就是管理文件系统的名称空间。虽然元数据和数据两者存储在存储集群，但两者别管理，支持可扩展性。事实上，元数据在元数据服务器集群上被进步拆，元数据服务器能够自适应地和名称空间，。4示，元数据服务器管理名称空间，可以为和性能进。元数据服务器名称空间的映射在Ceph使用，它Ceph化的工作进在元数据服务器间名称空间性能的位置。4Ceph名称空间的分区但是因为每元数据服务器是简单地管理的名称空间，它的应用就是能元数据存因为实的元数据最存储在存储集群。进操作的元数据被存在的，它最是被理存储器。这作元数据服务器最的元数据这在元数据操作。这有用元数据服务器，它的就被放，元数据存储在上。inode文件名为元数据。元数据服务器将文件名为，文件Ceph用I/O数据布局。1.5Ceph监视器 Ceph包含实施集群映射管理的监视器，但是故障管理的一些要素是在对象存储本身中执行的。当对象存储设备发生故障或者新设备添加时，监视器就检测和维护一个有效的集群映射。这个功能按一种分布的方式执行，这种方式中映射升级可以和当前的流量通信。Ceph使用Paxos，它是一系列分布式共识算法。.6Ceph对象存储 和传统的对象存储类似，Ceph存储节点不仅包括存储，还包括智能。传统的驱动是只响应来自启动者的命令的简单目标。但是对象存储设备是智能设备，它能作为目标和启动者，支持与其他对象存储设备的通信和合作。从存储角度来看，Ceph对象存储设备执行从对象到块的映射（在客户端的文件系统层中常常执行的。这个动作本实以方式存储一个对象。Ceph的本在一个为 EBOFS的本存储器实一个自级文件系统。这个系统实一个到层存储的标，这个层存储对对象和其他（对的通。，B-tree文件系统（BTRFS可以用存储节点，它实分要功能（式。为Ceph客户实CRUSH，对，（生系统分。CephRADOS。Ceph器一server，一client其中，server时，分个，作为 osd0、osd1的存储，没有的话，系统好后，使用loop设备虚拟个可以。1、安装操作系统2、添加keyAPTcephsudoapt-getupdate&&sudoapt-getinstallceph3、查看版本ceph-v //cephkey信息如果没有显示，请执行如下命令#sudoapt-getupdate&&apt-getupgrade[global][global]#ordisableauthenticationwith"auth"entriesin[global].authclusterrequired=noneauthservicerequired=noneauthclientrequired=none[osd]osdjournal=1000#Thefollowingassumesext4filesystem.filestorexattruseomap=true#addsettingsformkcephfssothatitwillcreateandmount#thefilesystemonaparticularOSDforyou.Removethecomment`#`#characterforthefollowingsettingsandreplacethevalues#inbraceswithappropriatevalues,orleavethefollowingsettings#commentedouttoacceptthedefaultvalues.Youmustspecifythe#--mkfsoptionwithmkcephfsinorderforthedeploymentscriptto#utilizethefollowingsettings,andyoumustdefinethe'devs'#optionforeachosdinstance;seebelow.osdmkfstype=xfsosdmkfsoptionsxfs=-f #defaultforxfsis"-f"osdmountoptionsxfs=rw,noatime #defaultmountoptionis"rw,noatime"#Forexample,forext4,themountoptionmightlooklikethis:#osdmkfsoptionsext4=user_xattr,rw,noatime#Execute$hostnametoretrievethenameofyourhost,#de}heefr#re,e}he#addressofyourhost.host=ubuntuhost=ubuntu#addsettingsformkcephfssothatitwillcreateandmount#thefilesystemonaparticularOSDforyou.Removethecomment`#`#characterforthefollowingsettingforeachOSDandspecify#apathtothedeviceifyouusemkcephfswiththe--mkfsoption.devs=/dev/loop0host=ubuntudevs=/dev/loop1host=devs=/dev/loop1host=ubuntuauthauthclusterrequired=noneauthservicerequired=noneauthclientrequired=noneosd0、osd1的位置如果没有/sda，可使用loop备虚拟，方法如下：#losetup–a //查看loop备的使用情况ddof=osd1bs=1Mcount=1000 //losetup/dev/loop0osd0建立对应关系#mkfs–txfs/dev/loop0//格式化按照相同的方法loop1osd15、创建目录sudomkdir-p/var/lib/ceph/osd/ceph-0sudomkdir-p/var/lib/ceph/osd/ceph-1sudomkdir-p/var/lib/ceph/mon/ceph-asudomkdir-p/var/lib/ceph/mds/ceph-a6、执行初始化cd/etc/ceph7、启动sudoserviceceph-astart8、执行健康检查sudocephhealth功！出现HEALTH_WARN576pgsstuckinactive;576pgsstuckunclean;noosds之类的，执行：#cephpgdump_stuckstale#cephpgdump_stuckinactive#cephpgdump_stuckuncleanOK、/var/lib/ceph/mds/ceph-arm–frv/var/lib/ceph/osd/ceph-0/*#rm–frv/var/lib/ceph/osd/ceph-1/*#rm–frv/var/lib/ceph/mon/ceph-a/*#rm–frv/var/lib/ceph/mds/ceph-a/*CephFS在客户端上操作：sudomkdir/mnt/mycephfssudomount-tcephip-address-of-monitor:6789://mnt/mycephfs或者sudomkdir/home/username/cephfssudoceph-fuse-mip-address-of-monitor:6789/home/username/cephfs#sudomount-l……#cd/mnt/mycephfs可进行文件操作源码包编译流程：#sudoapt-getupdate3、新建目录ceph源码包#mkdirceph#ceceph4、下载最新的ceph源码包#apt-getsourceceph包含四个文件目录6、README文件按步骤编译如下：#apt-getinstallautomakeautoconfautomakegccg++libboost-devlibedit-devlibssl-devlibtoollibfcgilibfcgi-devlibfuse-devlinux-kernel-headerslibcrypto++-devlibaio-devlibgoogle-perftools-devlibkeyutils-devuuid-devlibatomic-ops-devlibboost-program-options-devlibboost-thread-dev#sudoapt-getdpkg-devdpkg-checkbuilddeps makesurewehavealldependenciesapt-getinstall#dpkg-buildpackage8make#make9、修改代码make只修改部分并指明文件和修改文件源码测试情况1、替换后mds到/usr/bin下启动成功健康检查如下：root@ubuntu:/usr/bin#cephhealth//是不是没动？root@ubuntu:/usr/bin#cephpgdump_stuckstaleokpg_statobjectsmipdegrunfbyteslogdisklogstatestate_stampvreportedupactinglast_scrubscrub_stamplast_deep_scrubdeep_scrub_stamproot@ubuntu:/usr/bin#cephhealthHEALTH_OKClient