Ceph官方文档翻译

在此处插入索引和目录Newinversion.谢谢您尝试Ceph!我们建议安装一个ceph-deploy管理节点和一个三节点的Ceph存储集群来研究Ceph的基本特性。这篇预检会帮你准备一个ceph-deploy管理节点、以及三个Ceph节点（或虚拟机），以此构成Ceph存储集群。在进行下一步之前，请参见操作系统推荐以确认你安装了合适的Linux发行版。如果你在整个生产集群中只部署了单一Linux发行版的同一版本，那么在排查生产环境中遇到的问题时就会容易一点。在下面的描述中节点代表一台机器。在没有DNS的情况下，需要手动修改各个主机的hosts文件和主机名安装CEPH部署工具q把Ceph仓库添加到ceph-deploy管理节点，然后安装ceph-deploy高级包管理工具（APT）q在Debian和Ubuntu发行版上，执行下列步骤：添力口releasekey:wget-q-0-''|sudoapt-keyadd-添加Ceph软件包源，用Ceph稳定版(如cuttlefish、dumpling、emperorfirefly等等)替换掉｛ceph-stable-release｝。例如：echodeb$(lsb_release-sc)main|sudotee/etc/apt/更新你的仓库，并安装ceph-deploysudoapt-getupdate&&sudoapt-getinstallceph-deployNote你也可以从欧洲镜像下载软件包，只需把替换成即可。红帽包管理工具（RPM）勺在RedHat（rhel6、rhel7）、CentOS（el6、el7）和Fedora19-20（fl9-f20）上执行下列步骤：1.（只需要在管理节点）在RHEL7上，用subscription-manager注册你的目标机器，确认你的订阅，并启用安装依赖包的“Extras”软件仓库。例如：如果使用ceph-deploy部署，则不需要此步骤sudosubscription-managerrepos--enable二rhel-7-server-extras-rpms在RHEL6上，安装并启用ExtraPackagesforEnterpriseLinux（EPEL）软件仓库。请查阅EPELwiki获取更多信息。（只需要在管理节点）在CentOS上，可以执行下列命令：sudoyuminstall-yyum-utilssudoyum-config-manager--add-reposudoyuminstall--nogpgcheck-yepel-releasesudorpm--import/etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7sudorm/etc/(只需要在管理节点)把软件包源加入软件仓库。用文本编辑器创建一个YUM(YellowdogUpdater,Modified)库文件，其路径为/etc/。例如：sudovim/etc/把如下内容粘帖进去，用Ceph的最新主稳定版名字替换{ceph-stable-release}(如firefly)，用你的Linux发行版名字替换{distro}(如el6为CentOS6、el7为CentOS7、rhel6为RedHat、rhel7为RedHat7、fc19是Fedora19、fc20是Fedora20)。最后保存到/etc/文件中。[ceph-noarch]name=Cephnoarchpackages5.baseurl二更新软件库并安装ceph-deploy

sudoyumupdate&&sudoyuminstallceph—deployNote你也可以从欧洲镜像下载软件包，只需把替换成即可。CEPH节点安装q你的管理节点必须能够通过SSH无密码地访问各Ceph节点。如果ceph—deploy以某个普通用户登录，那么这个用户必须有无密码使用sudo的权限。安装NTPq我们建议在所有Ceph节点上安装NTP服务（特别是CephMonitor节点），以免因时钟漂移导致故障，详情见时钟。在CentOS/RHEL上，执行：sudoyuminstallntpntpdatentp—doc在Debian/Ubuntu上，执行：sudoapt-getinstallntp确保在各Ceph节点上启动了NTP服务，并且要使用同一个NTP服务器，详情见NTP。安装SSH服务器勺在所有Ceph节点上执行如下步骤：在各Ceph节点安装SSH服务器（如果还没有）：sudoapt—getinstallopenssh—serversudoyuminstallopenssh—server2.确保所有sudoapt—getinstallopenssh—serversudoyuminstallopenssh—server2.确保所有Ceph节点上的SSH服务器都在运行。创建部署CEPH的用户qceph-deploy工具必须以普通用户登录Ceph节点，且此用户拥有无密码使用sudo的权限，因为它需要在安装软件及配置文件的过程中，不必输入密码。较新版的ceph-deploy支持用一username选项提供可无密码使用sudo的用户名(包括root，虽然不建议这样做)。使用ceph-deploy--username{username}命令时，指定的用户必须能够通过无密码SSH连接到Ceph节点，因为ceph-deploy中途不会提示输入密码。我们建议在集群内的所有Ceph节点上给ceph-deploy创建一个特定的用户，但不要用“ceph”这个名字。全集群统一的用户名可简化操作(非必需)，然而你应该避免使用知名用户名，因为黑客们会用它做暴力破解(如root、admin、{productname})。后续步骤描述了如何创建无sudo密码的用户，你要用自己取的名字替换{username}Note从Infernalis版起，用户名“ceph”保留给了Ceph守护进程。如果Ceph节点上已经有了“ceph”用户，升级前必须先删掉这个用户。在各Ceph节点创建新用户。sshuser@ceph-serversudouseradd-d/home/{username}-m{username}sudopasswd{username}确保各Ceph节点上新创建的用户都有sudo权限。echo"{username}ALL=(root)NOPASSWD:ALL"|sudoteeetc/{username}sudochmod0440/etc/{username}允许无密码SSH登录q正因为ceph-deploy不支持输入密码，你必须在管理节点上生成SSH密钥并把其公钥分发到各Ceph节点。ceph-deploy会尝试给初始monitors生成SSH密钥对。1.生成SSH密钥对，但不要用sudo或root用户。提示“Enterpassphrase”时，直接回车，口令即为空：ssh-keygenGeneratingpublic/privatekeypair.Enterfileinwhichtosavethekey(/ceph-admin/.ssh/id_rsa):Enterpassphrase(emptyfornopassphrase):Entersamepassphraseagain:Youridentificationhasbeensavedin/ceph-admin/.ssh/id_rsa.Yourpublickeyhasbeensavedin/ceph-admin/.ssh/.把公钥拷贝到各Ceph节点，把下列命令中的{username}替换成前面创建部署Ceph的用户里的用户名。

3.ssh-copy-id{username}@nodelssh-copy-id{username}@node2ssh-copy-id{username}@node33.（推荐做法）修改ceph-deploy管理节点上的~/.ssh/config文件，这样ceph-deploy就能用你所建的用户名登录Ceph节点了，而无需每次执行ceph-deploy都要指定一username{username}。这样做同时SSH也简化了ssh和scp的用法。把{username}替换成你创建的用户名。需要使用chmod600~/.ssh/config修改权限，否则会报错HostnodelHostnamenode1User{username}Hostnode2Hostnamenode2User{username}Hostnode3Hostnamenode3User{username}启动时联网Ceph的各OSD进程通过网络互联并向Monitors上报自己的状态。如果网络默认为off，那么Ceph集群在启动时就不能上线，直到你打开网络。某些发行版（如CentOS）默认关闭网络接□。所以需要确保网卡在系统启动时都能启动,这样Ceph守护进程才能通过网络通信。例如，在RedHat和CentOS上，需进入/etc/sysconfig/network—scripts目录并确保ifcfg-{iface}文件中的ONBOOT设置成了yes确保联通性用ping短主机名（hostname-s）的方式确认网络联通性。解决掉可能存在的主机名解析问题。Note

主机名应该解析为网络IP地址，而非回环接口IP地址（即主机名应该解析成非的IP地址）。如果你的管理节点同时也是一个Ceph节点，也要确认它能正确解析自己的主机名和IP地址（即非回环IP地址）。开放所需端口FCephMonitors之间默认使用6789端口通信，OSD之间默认用6800:7300这个范围内的端口通信。详情见网络配置参考。CephOSD能利用多个网络连接进行与客户端、monitors、其他OSD间的复制和心跳的通信。某些发行版（如RHEL）的默认防火墙配置非常严格，你可能需要调整防火墙，允许相应的入站请求，这样客户端才能与Ceph节点上的守护进程通信。对于RHEL7上的firewalld，要对公共域开放CephMonitors使用的6789端口和OSD使用的6800:7300端口范围，并且要配置为永久规则，这样重启后规则仍有效。例如：sudofirewall-cmd--zone二public--add-port二6789/tcp--permanent若使用iptables,要开放CephMonitors使用的6789端口和OSD使用的6800:7300端口范围，命令如下：sudoiptables-AINPUT-i{iface}-ptcp-s{ip-address}/{netmask}—dport6789-jACCEPT在每个节点上配置好iptables之后要一定要保存，这样重启之后才依然有效。例如:/sbin/serviceiptablessave终端（TTY）q在CentOS和RHEL上执行ceph-deploy命令时可能会报错。如果你的Ceph节点默认设置了requiretty，执行sudovisudo禁用它，并找至I」Defaultsrequiretty选项，把它改为Defaults:ceph!requiretty或者直接注释掉，这样ceph-deploy就可以用之前创建的用户（创建部署Ceph的用户）连接了。sudovisudo修改确保配置如下

DefauIts!visiblepwDefauIts!requiretty{username}ALL=(ALL)NOPASSWD:ALLNote编辑配置文件/etc/sudoers时，必须用sudovisudo而不是文本编辑器。SELINUXq在CentOS和RHEL上,SELinux默认为Enforcing开启状态。为简化安装，我们建议把SELinux设置为Permissive或者完全禁用，也就是在加固系统配置前先确保集群的安装、配置没问题。用下列命令把SELinux设置为Permissivesudosetenforce0要使SELinux配置永久生效(如果它的确是问题根源)，需修改其配置文件/etc/selinux/configYUM优先级/首选项插件q确保你的包管理器安装了优先级/首选项包且已启用。在CentOS上你也许得安装EPEL,在RHEL上你也许得启用可选软件库。sudoyuminstallyum—plugin—priorities比如在RHEL7服务器上，可用下列命令安装yum-plugin-priorities并启用rhel—7—server—optional-rpms软件库：sudoyuminstallyum—plugin—priorities―enablerepo二rhel—7—server—optional—rpms快速入门的预检部分到此结束，请继续存储集群快速入门存储集群快速入门F如果你还没完成预检，请先做完。本篇快速入门用ceph-deploy从管理节点建立一个Ceph存储集群，该集群包含三个节点，以此探索Ceph的功能。第一次练习时，我们创建一个Ceph存储集群，它有一个Monitor和两个OSD守护进程。一旦集群达到active+clean状态，再扩展它：增加第三个OSD、增加元数据服务器和两个CephMonitors。为获得最佳体验，先在管理节点上创建一个目录，用于保存ceph-deploy生成的配置文件和密钥对。mkdirmy-clustercdmy-clusterceph-deploy会把文件输出到当前目录，所以请确保在此目录下执行ceph-deployImportant如果你是用另一普通用户登录的，不要用sudo或在root身份运行ceph-deploy，因为它不会在远程主机上调用所需的sudo命令。禁用requiretty在某些发行版（如CentOS）上,执行ceph-deploy命令时，如果你的Ceph节点默认设置了requiretty那就会遇到报错。可以这样禁用此功能：执行sudovisudo，找到Defaultsrequiretty选项，把它改为Defaults:ceph!requiretty，这样ceph-deploy就能用ceph用户登录并使用sudo了。如果在某些地方碰到麻烦，想从头再来，可以用下列命令清除配置：ceph-deploypurgedata{ceph-node}[{ceph-node}]ceph-deployforgetkeys用下列命令可以连Ceph安装包一起清除：ceph-deploypurge{ceph-node}[{ceph-node}]如果执行了purge，你必须重新安装Ceph。在管理节点上，进入刚创建的放置配置文件的目录，用ceph-deploy执行如下步骤。创建集群。ceph-deploynew{initial-monitor-node(s)}例如：ceph-deploynewnode1在当前目录下用ls和cat检查ceph-deploy的输出，应该有一个Ceph配置文件、一个monitor密钥环和一个日志文件。详情见ceph-deploynew-h把Ceph配置文件里的默认副本数从3改成2,这样只有两个OSD也可以达到active+clean状态。把下面这行加入[global]段：osdpooldefaultsize=2如果你有多个网卡，可以把publicnetwork写入Ceph配置文件的[global]段下。详情见网络配置参考。publicnetwork={ip-address}/{netmask}安装Ceph。ceph-deployinstall{ceph-node}[{ceph-node}...]例如：ceph-deployinstalladmin-nodenodelnode2node3ceph-deploy将在各节点安装Ceph。注：如果你执行过ceph-deploypurge你必须重新执行这一步来安装Ceph。配置初始monitor(s)、并收集所有密钥：ceph-deploymoncreate-initial完成上述操作后，当前目录里应该会出现这些密钥环：{cluster-name}.只有在安装Hammer或更高版时才会创建bootstrap-rgw密钥环。Note如果此步失败并输出类似于如下信息“Unabletofind/etc/ceph/，请确认中为monitor指定的IP是PublicIP,而不是PrivateIP。添加两个OSD。为了快速地安装，这篇快速入门把目录而非整个硬盘用于OSD守护进程。如何为OSD及其日志使用独立硬盘或分区，请参考ceph-deployosd。登录到Ceph节点、并给OSD守护进程创建一个目录。sshnode2sudomkdir/var/local/osdOexitsshnode3sudomkdir/var/local/osdlexit

然后，从管理节点执行ceph-deploy来准备0SD。ceph-deployosdprepare{ceph-node}:/path/to/directory例如：ceph-deployosdpreparenode2:/var/local/osd0node3:/var/local/osdl最后，激活OSD。ceph-deployosdactivate{ceph-node}:/path/to/directory例如：ceph-deployosdactivatenode2:/var/local/osd0node3:/var/local/osd1用ceph-deploy把配置文件和admin密钥拷贝到管理节点和Ceph节点，这样你每次执行Ceph命令行时就无需指定monitor地址和了。ceph-deployadmin{admin-node}{ceph-node}例如：ceph-deployadminadmin-nodenode1node2node3ceph-deploy和本地管理主机(admin-node)通信时，必须通过主机名可达。必要时可修改/etc/hosts,加入管理主机的名字。确保你对有正确的操作权限。sudochmod+r/etc/ceph/确保你对有正确的操作权限。sudochmod+r/etc/ceph/检查集群的健康状况。cephhealth等peering完成后，集群应该达到active+clean状态。4.操作集群F用ceph-deploy部署完成后它会自动启动集群。要在Debian/Ubuntu发行版下操作集群守护进程，参见用Upstart运行Ceph；要在CentOS、RedHat、Fedora和SLES下操作集群守护进程，参见用sysvinit运行Ceph关于peering和集群健康状况请参见监控集群；关于0SD守护进程和归置组(placementgroup)健康状况参见监控0SD和归置组；关于用户管理请参见用户管理Ceph集群部署完成后，你可以尝试一下管理功能、rados对象存储命令，之后可以继续快速入门手册，了解Ceph块设备、Ceph文件系统和Ceph对象网关。扩展集群(扩容)5一个基本的集群启动并开始运行后，下一步就是扩展集群。在nodel上添加一个0SD守护进程和一个元数据服务器。然后分别在node2和node3上添加CephMonitor，以形成Monitors的法定人数。添加OS"然后，从ceph-deploy节点准备OSD。ceph—deployosdprepare{ceph—node}:/path/to/directoryceph-deployosdpreparenode1:/var/local/osd2最后，激活OSD。ceph-deployosdactivate{ceph-node}:/path/to/directoryceph-deployosdactivatenode1:/var/local/osd2一旦你新加了OSD，Ceph集群就开始重均衡，把归置组迁移到新0SD。可以用下面的ceph命令观察此过程：ceph-w你应该能看到归置组状态从active+clean变为active，还有一些降级的对象；迁移完成后又会回到active+clean状态（Control-C退出）。添加元数据服务器勺至少需要一个元数据服务器才能使用CephFS，执行下列命令创建元数据服务器：ceph-deploymdscreate{ceph—node}ceph-deploymdscreatenodelNote当前生产环境下的Ceph只能运行一个元数据服务器。你可以配置多个，但现在我们还不会为多个元数据服务器的集群提供商业支持。添加RGW例程q要使用Ceph的Ceph对象网关组件，必须部署RGW例程。用下列方法创建新RGW例程：ceph-deployrgwcreate{gateway—node}ceph-deployrgwcreatenodelNote这个功能是从Hammer版和ceph-deploy才开始有的。RGW例程默认会监听7480端口，可以更改该节点内与RGW相关的配置，如下:[client]rgwfrontends=civetwebport=80用的是IPv6地址的话:[client]rgwfrontends=civetwebport二[::]:80添加MONITORS^Ceph存储集群需要至少一个Monitor才能运行。为达到高可用，典型的Ceph存储集群会运行多个Monitors,这样在单个Monitor失败时不会影响Ceph存储集群的可用性。Ceph使用PASOX算法，此算法要求有多半monitors（即1、2:3、3:4、3:5、4:6等）形成法定人数。新增两个监视器到Ceph集群。ceph-deploymonadd{ceph—node}ceph-deploymonaddnode2node3新增Monitor后，Ceph会自动开始同步并形成法定人数。你可以用下面的命令检查法定人数状态：cephquorum_status--formatjson—prettyTip当你的Ceph集群运行着多个monitor时，各monitor主机上都应该配置NTP，而且要确保这些monitor位于NTP服务的同一级。存入/检出对象数据5要把对象存入Ceph存储集群，客户端必须做到:指定对象名指定存储池Ceph客户端检出最新集群运行图，用CRUSH算法计算出如何把对象映射到归置组，然后动态地计算如何把归置组分配到OSD。要定位对象，只需要对象名和存储池名字即可，例如:cephosdmap{poolname}{object-name}练习：定位某个对象作为练习，我们先创建一个对象，用radosput命令加上对象名、一个有数据的测试文件路径、并指定存储池。例如：echo{Test-data}>radosput{object-name}{file-path}--pool二dataradosputtest—object—1--pool=data为确认Ceph存储集群存储了此对象，可执行:rados-pdatals现在，定位对象:cephosdmap{pool-name}{object-name}cephosdmapdatatest—object—1Ceph应该会输出对象的位置，例如:osdmape537pool'data'(0)object'test-object-1'-〉pg->up[1,0]acting[1,0]用''radosrm''命令可删除此测试对象，例如:

radosrmtest—object—1--pool二data随着集群的运行，对象位置可能会动态改变。Ceph有动态均衡机制，无需手动干预即可完成。块设备快速入门5要实践本手册，你必须先完成存储集群快速入门，并确保Ceph存储集群处于active+clean状态，这样才能使用Ceph块设备。NoteCeph块设备也叫RBD或RAD0S块设备。你可以在虚拟机上运行ceph—client节点，但是不能在与Ceph存储集群（除非它们也用VM）相同的物理节点上执行下列步骤。详情见FAQ。安装CEPHq确认你使用了合适的内核版本，详情见操作系统推荐。确认你使用了合适的内核版本，详情见操作系统推荐。lsb_release—auname—r在管理节点上，通过ceph—deploy把Ceph安装到ceph—client节点。ceph—deployinstallceph—client2.3.在管理节点上，用ceph—deploy把Ceph配置文件和拷贝到ceph—clientceph—deployadminceph—clientceph—deploy工具会把密钥环复制到/etc/ceph目录，要确保此密钥环文件有读权限(如sudochmod+r/etc/ceph/)。配置块设备5在ceph—client节点上创建一个块设备image。rbdcreatefoo—size4096[—m{monTP}][—k/path/t在ceph—client节点上，把image映射为块设备。sudorbdmapfoo—name[—m{monTP}][—k/path/to/在ceph—client节点上，创建文件系统后就可以使用块设备了。sudo—m0/dev/rbd/rbd/foo此命令可能耗时较长。在ceph—client节点上挂载此文件系统。sudomkdir/mnt/ceph—block—devicesudomount/dev/rbd/rbd/foo/mnt/ceph—block—devicecd/mnt/ceph—block—device详情见块设备CEPH文件系统快速入门q开始实践Ceph文件系统入门手册前，必须先完成存储集群快速入门。在管理节点上完成此入门。准备工作确认你使用了合适的内核版本，详情见操作系统推荐lsb_release—auname—r2.在管理节点上，通过ceph—deploy把Ceph安装到ceph—client节点上。ceph—deployinstallceph—client3.确保Ceph存储集群在运行，且处于active+clean状态。同时，确保至少有一个Ceph元数据服务器在运行。ceph—s[—m{monitor—ip—address}][—k{path/to/创建文件系统F虽然已创建了元数据服务器（存储集群快速入门），但如果你没有创建存储池和文件系统,它是不会变为活动状态的。参见创建Ceph文件系统cephosdpoolcreatecephfs_data<pg_num>cephosdpoolcreatecephfs_metadata<pg_num>cephfsnew<fs_name>cephfs_metadatacephfs_data创建密钥文件FCeph存储集群默认启用认证，你应该有个包含密钥的配置文件（但不是密钥环本身）。用下述方法获取某一用户的密钥：在密钥环文件中找到与某用户对应的密钥，例如：cat找到用于挂载Ceph文件系统的用户，复制其密钥。大概看起来如下所示:[]key=AQCj2YpRiAe6CxAA7/ETt7Hcl9IyxyYciVs47w二二打开文本编辑器。把密钥粘帖进去，大概像这样：AQCj2YpRiAe6CxAA7/ETt7Hcl9IyxyYciVs47w二二保存文件，并把其用户名name作为一个属性（如）。确保此文件对用户有合适的权限，但对其他用户不可见。内核驱动丫把CephFS挂载为内核驱动。sudomkdir/mnt/mycephfssudomount-tceph{ip—address—of—monitor}:6789://mnt/mycephfsCeph存储集群默认需要认证，所以挂载时需要指定用户名name和创建密钥文件一节中创建的密钥文件secretfile，例如:sudomount-tceph/mnt/mycephfs—oname二admin,secretfile二Note从管理节点而非服务器节点挂载CephFS文件系统，详情见FAQ用户空间文件系统（FUSE）|把CephFS挂载为用户空间文件系统（FUSE）。sudomkdir~/mycephfssudoceph—fuse—m{ip—address—of—monitor}:6789~/mycephfsCeph存储集群默认要求认证，需指定相应的密钥环文件，除非它在默认位置（即/etc/ceph）:附加信息见CephFS。CephFS还不像Ceph块设备和Ceph对象存储那么稳定，如果遇到问题请参考故障排除CEPH对象存储快速入门q从firefly（）起，Ceph存储集群显著地简化了Ceph对象网关的安装和配置。网关守护进程内嵌了Civetweb，无需额外安装web服务器或配置FastCGI。此外，可以直接使用ceph-deploy来安装网关软件包、生成密钥、配置数据目录以及创建一个网关实例。TipCivetweb默认使用7480端口。要么直接打开74