10异形来袭八爪鱼的安装运行与维护

1、异形来袭：八爪鱼ceph的安装、运行与维护by nqi.gmcc 林方为什么使用Ceph？因为它免费并且开源。最低限度下你只需要3台机器就可以开始使用。通过它你可以提升对对象存储和横向扩展系统Ceph，是一个开源软件解决方案。原来的初创公司 Inktank Storage已经被RedHat收购，如果需要商业支持，你唯一的选择就是RedHat公司。什么是Ceph？Ceph是一个开源分布式存储系统，构建于商业组件之上，通过软件实现获得可用性。对于Ceph描述一个比较流行的Ceph最早是由Sage Weil在他的博士论文中设计提出，随后被成立的Inktank公司管理和分发。Sage在该公司中担任Ce

2、ph是一个横向扩展系统：它被设计为先天无单点失效问题，可以扩展到无限个节点，并且节点之间没有耦合关系“存储的未来是横向扩展”一文中描述了横向扩展对于无限存储系统的重要性。Ceph使用Crush算法对数据进行自动化组织管理。Crush算法负责数据对象在集群内的智能分布，随后使用集群节点Ceph被构建为使用简单的服务器，每台服务器配置一些本地存储，通过网络连接彼此进行数据复制。服务器之间没Ceph可以通过向集群添加或者从集群移除节点并使用Crush算法进行对象的再平衡的方式动态扩展或者收缩。Ceph的的确确是对象存储。数据没有以文件的形式存放到文件系统上，也不是以块的形式存放到扇区或者磁道上。好了

3、，官网的介绍：在这里RedHat的文档： red-hat-ceph-storage?version=2/总的来说，ceph由集群组成，可以提供三种形式：块存储、对象存储与文件存储。集群是由节点与网络组成。集群ceph集群的最小例子是1台mon+2台osd，我们的案例是3台mon+5台osd（共5台机器、mon、mds可以复用部署每个节点都是做osd、带22块1T硬盘，每个硬盘起一个osd进程sscloud00、02、04做 MON sscloud00、03做 MDSsscloud04做 RGW一、快速安装整个服务的安装共需三步：1、准备；2、集群安装；3、客户端安装1、检查与准备需要一台管理节

4、点安装ceph-deploy（事实上集群中的任何一台都可以做）1.1.1 安装deploy1.1.2 在各节点上安装ntp客户端，本例指向内部ntp服务器：sscloud05sudo yum install ntp ntpdate ntp-doc同步，在每台上运行：增加源：sudo vim /etc/yum.repos.d/ceph.repo ceph-noarchname=Ceph noarch packagesbaseurl=ceph-release/distro/noarch enabled=1gpgcheck=1 type=rpm-md gpgkey=安装ceph-deploysudo

5、 yum update && sudo yum install ceph-deploy sudo ntpdate sscloud051.1.3 确定新增一个ceph的安装用户（忽略）1.1.4 在各节点上设置ssh免密登录（忽略）1.1.5 确保网络，端口6789、 6800:7300没有被（忽略）1.1.6 TTY如果执行ceph-deploy的时候碰到tty的问题，可以通过sudo visudo编辑Defaults requiretty，设置为： Defaults:ceph !requiretty或者前面加#，disable掉1.1.7 SELinux在Rhel或者Cent

6、os中，SELinux是设置成缺省enforcing的，在内网环境，为确保安装，可以设置成permissive*实际上1.1.6和1.1.7在新的ceph-deploy版本中应该解决了*1.2、集群安装选定管理节点，譬如sscloud04，在sscloud04 上操作：尽管官网不建议使用root进行安装，实际上却是最方便的安装用户，并且不影响使用 我们选择在/etc/ceph中安装配置文件创建集群设置object的副本数目，在/etc/ceph/ceph.conf的 global中设置：ceph-deploy new sscloud04mkdir /etc/ceph cd /etc/cephs

7、udo setenforce 0持久化设置,修改文件：/etc/selinux/config中SELINUX=permissive设置网络，最理想情况是2个网络，一个用于对外服务一个用于内部同步，也是在/etc/ceph/ ceph.conf中设置安装节点设置mon节点上述命令无错执行后，应该在/etc/ceph目录中存在以下文件：ceph.bootstrap-mds.keyring ceph.bootstrap-osd.keyring ceph.bootstrap-rgw.keyringceph.client.admin.keyring创建osd我们的场景中使用22块1T的sas盘，缺省使用

8、xfs文件系统作为osd，即每个节点部署22个osd，journal分区划分如果有ssd的情形，可以专门将journal分区部署在ssd中，可以提升一倍以上的效率准备磁盘ceph-deploy osd prepare sscloud04:/dev/sdw sscloud03:/dev/sdw sscloud02:/dev/sdw sscloud01:/dev/sdw sscloud00:/dev/sdwceph-deploy mon create sscloud04 sscloud02 sscloud00从ceph官网安装ceph-deploy install sscloud04 ssclou

9、d03 sscloud02 sscloud01 sscloud00从本地仓库安装ceph-deploy install sscloud00 -no-adjust-repospublic_netwrok = 192.169.5.0/24 private_network = 192.169.5.0/24#正常情况下应该用3，2个副本较些，当然也可以考虑ec-pool，相当于raid5 osd pool default size = 2在最新的luminous（12.1.4）中，default采用的是bluestore而不是原来的lestore tier的特性，可以将集群所有的ssd组成cache

10、pool来对集群的读写。对象，另外还有一个叫cac有关bluestore的文章见：RedHat：red_hat_ceph_storage/2/html/administration_guide/osd_bluestore_technology_preview官网：slideshare： 从lestore-转换到-bluestore的方法/bluestore-a-new-faster-storage-backend-for-ceph-633111819781785888786/3/ch03lvl1sec23/why-was-it-needed%253f有关cache tier的文章见：官网： R

11、edHat： html/storage_strategies/cache-tiering中文：分层.md做分层官网：的时候，找到一个luminous的新特性class，大幅减少bucket的维护工作量。 新功能之磁盘智能分组/一些网文： Luminous-series-CRUSH-devices-class/ 新功能之crush-class/充分理解crush原理、ceph架构后，对分层官网：网文：的设置才能完整理解：RedHat： storage_strategies_guide/crush_administration#crush_storage_strategy_examples最后汇总

12、一下：使用bluestore有较大性能提升，而且是ceph的，12.2.x会正式发布bluestore支持multi device，可以将block.wal, block.db放入ssd以便激活,sdw1作为data分区，sdw2作为journal分区ceph-deploy osd activate sscloud04:/dev/sdw1:/dev/sdw2 sscloud03:/dev/sdw1:/dev/sdw2 sscloud02:/dev/sdw1:/dev/sdw2sscloud01:/dev/sdw1:/dev/sdw2 sscloud00:/dev/sdw1:/dev/sdw2b

13、lock.wal, block.db可以在同一个ssd partition里面block.wal, block.db占用的空间很小，适合配置一些旧的、较小容量的ssdosd的class特性大幅降低了实现cache tier所需要的步骤使用cache tier实现集群级别的，是有效的策略具体指令：a：osd 配置部分#ceph-deploy现阶段没有完全支持12.1.4，不能识别-crush-device-class属性，#但是较容易完成整体部署，所以还是先用设置，后面再用ceph osd crush 修改class属性#1、创建device-class：hdd、ssd ceph osd cru

14、sh class createssd ceph osd crush class createhdd#2、部署osdfor i in w v u t s r q p o n m l k j i h g f e d c b;do ceph-deploy osd prepare sscloud19:/dev/sd$i sscloud18:/dev/sd$i sscloud17:/dev/sd$i sscloud16:/dev/sd$i sscloud15:/dev/sd$i; done#以上是hdd盘，12.1.4自动设置成hdd的class，对于ssd盘还不能自动识别所以需要 #手动修改for i

15、 in x y;do ceph-deploy osd prepare sscloud19:/dev/sd$i sscloud18:/dev/sd$i sscloud17:/dev/sd$i sscloud16:/dev/sd$i sscloud15:/dev/sd$i; donefor i in ssd-osd-id list;do ceph-diskprepare -bluestore /dev/sdw -block.wal /dev/sdx -block.db/dev/sdxb：cache tier的配置#创建2个cache pool，replicated ，size 3，pg_num 1

16、024 ceph osd pool create cache 3 1024 1024ceph osd pool create cachepool 3 1024 1024 #设置cache pool的crush_rule以便选择ssd盘ceph osd pool set cache crush_rule ssd-ruleceph osd pool set cachepool crush_rule ssd-rule #设置cephfs的pool作为hdd冷ceph osd pool set cephfs_metadata crush_rule hdd-ruleceph osd pool set c

17、ephfs_data crush_rule hdd-rule #设置分层ceph osd tier add cephfs_metadata cacheceph osd tier add cephfs_data cachepool ceph osd tier cache-mode cache writebackceph osd tier cache-mode cachepool writeback ceph osd tier set-overlay cephfs_metadata cache ceph osd tier set-overlay cephfs_data cachepool #设置c

18、ache pool 参数#在12.2.0下，一定要设置target_max_bytes，否则自动flush机制无法激活#从而导致cache tier 爆满-cephfs停运ceph osd pool set $cachepool hit_set_type bloomceph osd crush rm-device-class ssd-osd-id;ceph osd crush set-device-class ssd ssd-osd-id; done #dump crush map 校验ceph osd getcrushmap -o crushmap#crushtool -d crushmap

19、 -o decode.crushmap #校对cat decode.crushmap#json格式ceph osd crush dumpc: cache tier的删除cache storage的cache-mode不同，删除方式不同：c.1、readonly的c.2、writeback的进行删除)。做完以上的操作之后，hot-storage 和cache pool才没有了，此时就可以直接使用命令删除pool。将ceph.conf文件分发到各个节点：ceph daemon mon.sscloud17 config set mon_allow_pool_delete trueceph osd p

20、ool delete poolname poolname-yes-i-really-really-mean-itceph osd tier cache-mode cachepool forward #更改cache-mode为forward rados -p cachepool ls #查看pool中是否有objectrados -p cachepool cache-flush-evict-all #如果有，删除 (非常耗时，可以尝试用rados -p ecpool cleanup -prefix benchmark_data这个命令也仅仅rados产生的测试数据ceph osd tier r

21、emove-overlay storagetier #把storage的相关设置删除ceph osd tier remove storagepool cachepool #从storage pool删除cache poolceph osd tier cache-mode hot-storage none #更改cache-mode为noneceph osd tier remove storagepool cachepool #从storage pool删除cache poolceph osd pool set $cachepool hit_set_count 1ceph osd pool se

22、t $cachepool hit_set_period 3600 #ceph osd pool set $cachepool hit_set_fpp 0.15ceph osd pool set $cachepool target_max_bytes 375809638400 ceph osd pool set $cachepool target_max_objects 1000000 ceph osd pool set $cachepool cache_target_dirty_ratio 0.4ceph osd pool set $cachepool cache_target_dirty_h

23、igh_ratio 0.6 ceph osd pool set $cachepool cache_target_full_ratio 0.8ceph osd pool set $cachepool cache_min_flush_age 600 ceph osd pool set $cachepool cache_min_evict_age 1800好了，可以检查以下集群状态如何了：观察集群的运行：ceph -wcluster 13b3b09f-0d99-4c41-a3a4-69399ff4bbb1 health HEALTH_OKmonmap e5: 3 mons at sscloud00=

24、192.169.5.7:6789/0,sscloud02=192.169.5.9:6789/ 0,sscloud04=192.169.5.11:6789/0election epoch 3782, quorum 0,1,2 sscloud00,sscloud02,sscloud04 fsmap e52141: 1/1/1 up 0=sscloud00=up:active, 1 up:standbyosdmap e21167: 65 osds: 65 up, 65 inflags sortbitwise,require_jewel_osdspgmap v2465074: 3112 pgs, 9

25、pools, 8277 GB data, 17960 kobjects16775 GB used, 37295 GB / 54070 GB avail3112 active+cleanceph -scluster 13b3b09f-0d99-4c41-a3a4-69399ff4bbb1 health HEALTH_OKmonmap e5: 3 mons at sscloud00=192.169.5.7:6789/0,sscloud02=192.169.5.9:6789/ 0,sscloud04=192.169.5.11:6789/0election epoch 3782, quorum 0,1

26、,2 sscloud00,sscloud02,sscloud04 fsmap e52141: 1/1/1 up 0=sscloud00=up:active, 1 up:standbyosdmap e21167: 65 osds: 65 up, 65 inflags sortbitwise,require_jewel_osdspgmap v2465042: 3112 pgs, 9 pools, 8277 GB data, 17960 kobjects16775 GB used, 37295 GB / 54070 GB avail3111 active+clean1 active+clean+sc

27、rubbing enosssscloud04 ceph$ceph-deploy admin sscloud04 sscloud03 sscloud02 sscloud01 sscloud00集群用量2017-06-21 17:46:53.393778 mon.0 INF pgmap v2465073: 3112 pgs: 3112active+clean; 8277 GB data, 16775 GB used, 37295 GB / 54070 GB avail2017-06-21 17:46:54.403640 mon.0 INF pgmap v2465074: 3112 pgs: 311

28、2active+clean; 8277 GB data, 16775 GB used, 37295 GB / 54070 GB avail 2017-06-21 17:46:50.335859 osd.24 INF 9.2b9 scrub starts2017-06-21 17:46:51.286390 osd.24 INF 9.2b9 scrub ok2017-06-21 17:46:56.478321 mon.0 INF pgmap v2465075: 3112 pgs: 3112active+clean; 8277 GB data, 16775 GB used, 37295 GB / 5

29、4070 GB avail2017-06-21 17:46:58.505288 mon.0 INF pgmap v2465076: 3112 pgs: 3112active+clean; 8277 GB data, 16775 GB used, 37295 GB / 54070 GB avail2017-06-21 17:47:00.718307 mon.0 INF pgmap v2465077: 3112 pgs: 3112active+clean; 8277 GB data, 16775 GB used, 37295 GB / 54070 GB avail2017-06-21 17:47:

30、03.498014 mon.0 INF pgmap v2465078: 3112 pgs: 3112active+clean; 8277 GB data, 16775 GB used, 37295 GB / 54070 GB avail2017-06-21 17:47:05.723063 mon.0 INF pgmap v2465079: 3112 pgs: 3112active+clean; 8277 GB data, 16775 GB used, 37295 GB / 54070 GB avail2017-06-21 17:47:06.731660 mon.0 INF pgmap v246

31、5080: 3112 pgs: 1active+clean+scrubbing, 3111 active+clean; 8277 GB data, 16775 GB used, 37295 GB / 54070 GB avail2017-06-21 17:47:08.787998 mon.0 INF pgmap v2465081: 3112 pgs: 1active+clean+scrubbing, 3111 active+clean; 8277 GB data, 16775 GB used, 37295 GB / 54070 GB avail2017-06-21 17:47:03.44756

32、9 osd.18 INF 8.1ba scrub starts2017-06-21 17:47:11.833580 mon.0 INF pgmap v2465082: 3112 pgs: 1active+clean+scrubbing, 3111 active+clean; 8277 GB data, 16775 GB used, 37295 GB / 54070 GB avail2017-06-21 17:47:13.857952 mon.0 INF pgmap v2465083: 3112 pgs: 1active+clean+scrubbing, 3111 active+clean; 8

33、277 GB data, 16775 GB used, 37295 GB / 54070 GB avail2017-06-21 17:47:16.499198 mon.0 INF pgmap v2465084: 3112 pgs: 1active+clean+scrubbing, 3111 active+clean; 8277 GB data, 16775 GB used, 37295 GB / 54070 GB avail2017-06-21 17:47:18.527229 mon.0 INF pgmap v2465085: 3112 pgs: 1active+clean+scrubbing

34、, 3111 active+clean; 8277 GB data, 16775 GB used, 37295 GB / 54070 GB avail1.3、客户端安装客户端共有三种场景：块、对象、文件系统，以下分别描述： 首先需要在客户端节点安装ceph更新配置文件及传送令牌1.3.1 文件官网说明： ceph-deploy admin sscloud05ceph-deploy install sscloud05ceph df GLOBAL:SIZEAVAILRAW USED%RAW USED 54070G37295G16775G31.02POOLS:NAMEIDUSED%USEDMAX A

35、VAILOBJECTSrbd016015091G3.rgw.root11588015091G4default.rgw.control20015091G8default.rgw.data.root30015091G0default.rgw.gc40015091G32default.rgw.users.uid60015091G0cephfs_data88277G35.4215091G17956374cephfs_metadata939399k015091G434541default.rgw.log100015091G127先建元数据服务器：再建文件系统需要先建立池，元数据池：$ ceph osd

36、pool create cephfs_data <pg_num>$ ceph osd pool create cephfs_metadata <pg_num>关于pg_num的取值，涉及ceph性能，在50个osd以内，1024是合适的， 超过100个osd，则使用公式“（osd个数*100）备份个数【缺省3】”，结果取最接近的2的幂次方。本例：110个osd，2个备份，则4096最为接近。$ ceph osd pool create cephfs_data 4096$ ceph osd pool create cephfs_metadata 4096激活应用名称Not

37、e CephFS uses the application name cephfs, RBD uses the application name rbd,and RGW uses the application name rgw$ceph osd pool application enable cephfs_data cephfs$ceph osd pool application enable cephfs_metadata cephfs然后建文件系统cephfs$ ceph fs new cephfs cephfs_metadata cephfs_data检查$ ceph fs lsnam

38、e: cephfs, metadata pool: cephfs_metadata, data pools: cephfs_data 文件系统建好后，mds状态自动激活$ ceph mds statceph-deploy mds create sscloud00 sscloud03 e52486: 1/1/1 up 0=sscloud00=up:active, 1 up:standby将cephfs加入系统中使用：可以选择内核的驱动或者用户界面（fuse）的api进行安装用内核的驱动安装：通过在/etc/fstab中的设置，实现自动挂载在用户空间（FUSE）安装,可以容量先要安装ceph-fu

39、se$ sudo yum -y install ceph-fuse再挂载文件系统$ sudo mkdir /home/enoss/cephfs$ sudo ceph-fuse -m 192.169.5.11:6789 /home/enoss/cephfs启动ceph-fuse服务$ sudo systemctl start ceph-fuse/home/enoss/cephfs$ sudo systemctl enable ceph-fuse/home/enoss/cephfs$ sudo nano /etc/fstab 192.169.5.11:6789,192.169.5.9:6789,1

40、92.169.5.7:6789:/cephfs ceph name=admin,secretfile=/etc/ceph/admin.secret,_netdev,noatime02sudo mkdir /cephfs需要加入cephx authentication 的认证文件sudo mount -t ceph 192.169.5.8:6789:/ /cephfs -o name=admin,secretfile=/etc/ceph/admin.secret存在多个monitor的时候sudo mount -t ceph 192.169.5.8,192.169.5.9,192.169.5.7

41、:6789:/ /cephfs -o name=admin,secretfile=/etc/ceph/admin.secret官网：1.3.2 块有关块ceph rbd的官网说明： 因为我们使用centos7，内核是3.10，较为旧，不支持rbd for-mat2的一些特性，仅能用layering，在create image的时候需要注意，否则无法map上内核a、关于 通常的使用具体指令：step1: 创建poolstep2:创建rbd image使用3备份创建rbd pool$sudo ceph osd pool create rbd 3激活rbd应用 enable application

42、to rbd$sudo ceph osd pool application enable rbd rbd检查：$sudo ceph osd pool ls detailpool 12 'test' replicated size 3 min_size 2 crush_rule 0 object_hash rjenkinspg_num 3 pgp_num 3 last_change 5617 flags hashpspool stripe_width 0 application rbdremoved_snaps 13pool 13 'rbd' replicated

43、 size 3 min_size 2 crush_rule 0 object_hash rjenkins pg_num 16 pgp_num 16 last_change 41974 lfor 0/41968 flags hashpspool stripe_width 0removed_snaps 13#DEVICE PATHTYPEOPTIONSnone/mnt/cephfuse.ceph ceph.id=user-ID,ceph.conf=path/to/ conf.conf,_netdev,defaults0 0none/mnt/cephfuse.ceph ceph.id=myuser,

44、ceph.conf=/etc/ceph/ foo.conf,_netdev,defaults0 0step3，可以被db server当作块设备使用了b、关于Erasure Code Pool官网：最简单ec pool相当于raid5 的性能，最少由3节点组成，也就是省空间。1.3.3 对象网关radosgw官网：二、运行与维护# create镜像，2T pgdb$sudo rbd create rbd/gpalonedb -size 2T -image-format 2 -image-featurelayering # 检查$sudo rbd info gpalonedbrbd image

45、'gpalonedb':size 2048 GB in 524288 objectsorder 22 (4096 kB objects) block_name_prefix: rbd_data.148802ae8944a format: 2features: layering flags:create_timestamp: Fri Dec 29 10:00:52 2017 # mapping进入rbd内核$sudo rbd map rbd/gpalonedb# 检查$sudo rbdshowmappedid pool image snap device0rbdgpalonedb

46、-/dev/rbd0集群是所有服务的基础，确保monitor、osd没有错误是ceph运维的主要目的理解整个结构是确保运行的重要基础，官网地址：2.1.0观测ceph集群状态$ ceph -scluster 13b3b09f-0d99-4c41-a3a4-69399ff4bbb1 health HEALTH_WARN549 pgs backfill_wait8 pgs backfilling557 pgs stuck uncleanrecovery 10/38890092 objects degraded (0.000%) recovery 4253012/38890092 objects m

47、isplaced (10.936%)monmap e6: 3 mons at sscloud00=192.169.5.7:6789/0,sscloud02=192.169.5.9:6789/ 0,sscloud04=192.169.5.11:6789/0election epoch 6818, quorum 0,1,2 sscloud00,sscloud02,sscloud04 fsmap e52486: 1/1/1 up 0=sscloud00=up:active, 1 up:standbymgr active: sscloud00osdmap e26389: 65 osds: 65 up,

48、 65 in; 557 remapped pgspgmap v2713165: 5672 pgs, 10 pools, 12321 GB data, 18989k objects 24923 GB used, 29146 GB / 54070 GB avail10/38890092 objects degraded (0.000%) 4253012/38890092 objects misplaced (10.936%)5115 active+clean549 active+remapped+backfill_wait8 active+remapped+backfilling recovery

49、 io 63954 kB/s, 97 objects/sclient io 824 B/s rd, 66617 B/s wr, 0 op/s rd, 13 op/s wr$ ceph mon state6: 3 mons at sscloud00=192.169.5.7:6789/0,sscloud02=192.169.5.9:6789/ 0,sscloud04=192.169.5.11:6789/0, election epoch 6826, quorum 0,1 sscloud00,sscloud02ok或者warn状态下，集群都能运行，出现err则无法运行，需要修复2.1.1 集群错误查

50、找方法2.1.2 修复出错的pg 出处：先寻找有问题的pg第一时间尝试修复：无法修复的话，在log里面查找对应的object号码$ grep -Hn 'ERR' /var/log/ceph/ceph-osd.21.log log文件压缩成gz的话用zgrep代替 greplog ERR : 17.1c1 shard 21: soid 58bcc1c1/rb.0.90213.238e1f29.00000001232d/ head/17 digest 0 != known digest 3062795895$ ceph pg repair 17.1c1$ sudo ceph hea

51、lth detailHEALTH_ERR 1 pgs inconsistent; 2 scrub errorspg 17.1c1 is active+clean+inconsistent, acting 21,25,302 scrub errors$ ceph health detailHEALTH_WARN too many PGs per OSD (371 > max 300); 1 mons down, quorum 0,1 sscloud00,sscloud02too many PGs per OSD (371 > max 300)mon.sscloud04 (rank 2

52、) addr 192.169.5.11:6789/0 is down (out of quorum)$ ceph-create-keys -i sscloud04INFO:ceph-create-keys:ceph-mon is not in quorum: u'probing'$ ceph osd statosdmap e26391: 65 osds: 65 up, 65 in; 556 remapped pgs$ ceph mds state52486: 1/1/1 up 0=sscloud00=up:active, 1 up:standby利用上述已知道的pg、osd、o

53、bject编号，查到有问题的文件上：检查对应文件大小、MD5，出有问题的对象文件，删除。停止对应的osd运行，重建日志，再重启osd，尝试修复pg：2.1.3 修复更换出错的osd当整块磁盘作为osd损毁时，需要修复osd，流程如下：停止osd：$ ceph osd out osd.n 或者 sudo systemctl stop ceph-osdn CRUSH队列$ ceph osd crush remove osd.n删除令牌：$ ceph auth del osd.n$ ceph osd rm osd.n列出节点中的磁盘，找到准备用于osd的磁盘编号$ ceph-deploy disk

54、list host 或者 ceph-disk list #luminous 12.2.2版本之后准备$ ceph-deploy disk zap host:/dev/sd(n) 或者 ceph-disk zap /dev/sd(n)$ ceph-deploy osd prepare host:/dev/sd(n) 或者 ceph-disk prepare /dev/sd(n)激活$ ceph-deploy osd activate host:/dev/sd(n)1 或者 ceph-disk activate /dev/sd(n)1检查一下所有osd的状态$ sudo systemctl stop ceph-osd21$ ceph-osd -i 21 -flush-journal$ sudo systemctl start ceph-osd21$ ceph pg repair 17.1c1$ sudo find /var/lib/ceph/osd/ceph-21/current/17.1c1_head/ -name 'rb.0.90213.238e1f29.00000001232d*' -lslog ERR : 17.1c1 shard 25: soid 58bcc