ceph高可用分布式存储集群10-osdmaptool详解与实战

ceph高可用分布式存储集群10-osdmaptool详解与实战– ceph osd 运行图操作工具

提纲

osdmaptool mapfilename [–print] [–createsimple numosd [–pgbits bitsperosd ] ] [–clobber]

osdmaptool mapfilename [–import-crush crushmap]

osdmaptool mapfilename [–export-crush crushmap]

osdmaptool mapfilename [–upmap file] [–upmap-max max-optimizations] [–upmap-deviation max-deviation] [–upmap-pool poolname] [–save] [–upmap-active]

osdmaptool mapfilename [–upmap-cleanup] [–upmap file]

描述

osdmaptool是一个实用程序，可让您从 Ceph 分布式存储系统创建、查看和操作 OSD 集群映射。值得注意的是，它允许您提取嵌入的 CRUSH 地图或导入新的 CRUSH 地图。它还可以模拟 upmap 平衡器模式，以便您了解平衡 PG 所需的条件。

选项

--print

在进行任何修改后，将简单地使该工具打印地图的纯文本转储。

--dump <format>

当 <format> 为 'plain' 时，以纯文本形式显示地图，如果不支持指定的格式，则显示为 'json'。这是打印选项的替代方法。

--clobber

如果进行了更改，将允许 osdmaptool 覆盖 mapfilename。

--import-crush mapfile

将从 mapfile 加载 CRUSH 地图并将其嵌入到 OSD 地图中。

--export-crush mapfile

将从 OSD 地图中提取 CRUSH 地图并将其写入 mapfile。

--createsimple numosd [--pg-bits bitsperosd] [--pgp-bits bits]

将使用 numosd 设备创建一个相对通用的 OSD 映射。如果指定了 –pg-bits，则初始归置组计数将设置为每个 OSD 的 bitsperosd 位。也就是说，pg_num 映射属性将设置为 numosd，由 bitsperosd 移位。如果指定了 –pgp-bits，则 pgp_num 映射属性将设置为 numosd 位移位。

--create-from-conf

使用默认配置创建一个 osd 映射。

--test-map-pgs [--pool poolid] [--range-first <first> --range-last <last>]

将打印出从归置组到 OSD 的映射。如果指定了范围，则它会在 osdmaptool 的参数指定的目录中从第一个到最后一个迭代。例如：osdmaptool –test-map-pgs –range-first 0 –range-last 2 osdmap_dir。这将遍历 osdmap_dir 中名为 0,1,2 的文件。

--test-map-pgs-dump [--pool poolid] [--range-first <first> --range-last <last>]

将打印出所有归置组的摘要以及从它们到映射的 OSD 的映射。如果指定了范围，则它会在 osdmaptool 的参数指定的目录中从第一个到最后一个迭代。例如：osdmaptool –test-map-pgs-dump –range-first 0 –range-last 2 osdmap_dir。这将遍历 osdmap_dir 中名为 0,1,2 的文件。

--test-map-pgs-dump-all [--pool poolid] [--range-first <first> --range-last <last>]

将打印出所有归置组的摘要以及从它们到所有 OSD 的映射。如果指定了范围，则它会在 osdmaptool 的参数指定的目录中从第一个到最后一个迭代。例如：osdmaptool –test-map-pgs-dump-all –range-first 0 –range-last 2 osdmap_dir。这将遍历 osdmap_dir 中名为 0,1,2 的文件。

--test-random

将归置组随机映射到 OSD。

--test-map-pg <pgid>

将特定归置组（由 pgid 指定）映射到 OSD。

--test-map-object <objectname> [--pool <poolid>]

将特定归置组（由 objectname 指定）映射到 OSD。

--test-crush [--range-first <first> --range-last <last>]

将归置组映射到代理 OSD。如果指定了范围，则它会在 osdmaptool 的参数指定的目录中从第一个到最后一个迭代。例如：osdmaptool –test-crush –range-first 0 –range-last 2 osdmap_dir。这将遍历 osdmap_dir 中名为 0,1,2 的文件。

--mark-up-in

标记 osds up and in（但不要坚持）。

--mark-out

将 osd 标记为 out（但不要坚持）

--mark-up <osdid>

将 osd 标记为 up（但不要坚持）

--mark-in <osdid>

将 osd 标记为 in（但不要坚持）

--tree

显示地图的分层树。

--clear-temp

清除 pg_temp 和 primary_temp 变量。

--clean-temps

清洁 pg_temps。

--health

转储健康检查

--with-default-pool

创建地图时包括默认池

--upmap-cleanup <file>

清理 pg_upmap[_items] 条目，将命令写入 <file> [默认：- 用于标准输出]

--upmap <file>

计算 pg upmap 条目以平衡 pg 布局将命令写入 <file> [默认：- 用于 stdout]

--upmap-max <max-optimizations>

设置最大 upmap 条目来计算 [默认：10]

--upmap-deviation <max-deviation>

与目标的最大偏差 [默认值：5]

--upmap-pool <poolname>

将 upmap 平衡限制为 1 个池，或者可以为多个池重复该选项

--upmap-active

像一个主动的平衡器一样，不断应用变化直到平衡

--adjust-crush-weight <osdid:weight>[,<osdid:weight>,<...>]

更改 <osdid> 的 CRUSH 权重

--save

使用 upmap 或 crash-adjust 更改编写修改后的 osdmap

实例

要创建个有 16 个设备的简易图：

osdmaptool --createsimple 16 osdmap --clobber

查看结果：

osdmaptool --print osdmap

要查看存储池 1 的归置组映射情况：

osdmaptool osdmap --test-map-pgs-dump --pool 1

pool 1 pg_num 8

1.0 [0,2,1] 0

1.1 [2,0,1] 2

1.2 [0,1,2] 0

1.3 [2,0,1] 2

1.4 [0,2,1] 0

1.5 [0,2,1] 0

1.6 [0,1,2] 0

1.7 [1,0,2] 1

#osd count first primary c wt wt

osd.0 8 5 5 1 1

osd.1 8 1 1 1 1

osd.2 8 2 2 1 1

in 3

avg 8 stddev 0 (0x) (expected 2.3094 0.288675x))

min osd.0 8

max osd.0 8

size 0 0

size 1 0

size 2 0

size 3 8

其中，

1. 池 1 有 8 个归置组。两个表如下：

2. 归置组表。每行代表一个归置组。带有以下列：

* 置放群组 ID，

* 表演集，和

* 主 OSD。

3. 所有 OSD 的表格。每行显示一个 OSD。带有以下列：

* 映射到此 OSD 的归置组计数，

* 此 OSD 是其执行集中的第一个归置组的计数，

* 此 OSD 是其中主要的归置组计数，

* 此 OSD 的 CRUSH 权重，以及

* 此 OSD 的权重。

4. 查看 3 个 OSD 持有的归置组数量。我们有

* 平均、标准差、标准差/平均、预期标准差、预期标准差/平均

* 最小值和最大值

5. 映射到 n 个 OSD 的归置组数量。在这种情况下，所有 8 个归置组都映射到 3 个不同的 OSD。

在一个不太平衡的集群中，我们可以有以下输出用于归置组分布的统计数据，其标准差为 1.41421：

#osd count first primary c wt wt

osd.0 8 5 5 1 1

osd.1 8 1 1 1 1

osd.2 8 2 2 1 1

#osd count first primary c wt wt

osd.0 33 9 9 0.0145874 1

osd.1 34 14 14 0.0145874 1

osd.2 31 7 7 0.0145874 1

osd.3 31 13 13 0.0145874 1

osd.4 30 14 14 0.0145874 1

osd.5 33 7 7 0.0145874 1

in 6

avg 32 stddev 1.41421 (0.0441942x) (expected 5.16398 0.161374x))

min osd.4 30

max osd.1 34

size 00

size 10

size 20

size 364

在 upmap 模式下模拟主动平衡器：

osdmaptool --upmap upmaps.out --upmap-active --upmap-deviation 6 --upmap-max 11 osdmap

osdmaptool: osdmap file 'osdmap'

writing upmap command output to: upmaps.out

checking for upmap cleanups

upmap, max-count 11, max deviation 6

pools movies photos metadata data

prepared 11/11 changes

Time elapsed 0.00310404 secs

pools movies photos metadata data

prepared 11/11 changes

Time elapsed 0.00283402 secs

pools data metadata movies photos

prepared 11/11 changes

Time elapsed 0.003122 secs

pools photos metadata data movies

prepared 11/11 changes

Time elapsed 0.00324372 secs

pools movies metadata data photos

prepared 1/11 changes

Time elapsed 0.00222609 secs

pools data movies photos metadata

prepared 0/11 changes

Time elapsed 0.00209916 secs

Unable to find further optimization, or distribution is already perfect

osd.0 pgs 41

osd.1 pgs 42

osd.2 pgs 42

osd.3 pgs 41

osd.4 pgs 46

osd.5 pgs 39

osd.6 pgs 39

osd.7 pgs 43

osd.8 pgs 41

osd.9 pgs 46

osd.10 pgs 46

osd.11 pgs 46

osd.12 pgs 46

osd.13 pgs 41

osd.14 pgs 40

osd.15 pgs 40

osd.16 pgs 39

osd.17 pgs 46

osd.18 pgs 46

osd.19 pgs 39

osd.20 pgs 42

Total time elapsed 0.0167765 secs, 5 rounds

生产环境实际操作命令：

ceph osd getmap -o osdmap.bin

osdmaptool osdmap.bin --upmap afterosdmap.txt --upmap-active --upmap-pool default.rgw.buckets.data --upmap-max 10 --upmap-deviation 3

osdmaptool: osdmap file 'osdmap.bin'

writing upmap command output to: afterosdmap.txt

checking for upmap cleanups

upmap, max-count 10, max deviation 3

limiting to pools default.rgw.buckets.data ([6])