环境说明
k8s v1.28 单主单从主节点IP 172.16.100.11从节点IP 172.16.100.10ubuntu20.04calico v3.25pod网段默认192.168.0.0/16虚拟网卡网段172.16.2.0/23
蒲公英就是一个点对点的vpn软件，和向日葵是同为贝锐的产品，专门用来异地组网的，客户需要远程访问服务做演示
故障现象与排查客户在k8s主节点成功安装了蒲公英后，获取到了虚拟IP 172.16.2.169
尝试访问集群服务时，发现主节点的服务通过NodePort暴露的端口无法访问通过ss -tunlp | grep 300xx 查看...
在集群维护期间，集群可以在降级状态下操作和服务客户端。但是，添加或移除osd会影响集群性能。回填操作会在osd之间产生大量数据传输，导致集群性能下降。
12345678910在执行集群维护之前评估潜在的性能影响:1.Client load客户端负载2.Node capacity节点规模3.Spare cluter capacity备用集群容量4.CRUSH rules映射规则，每个使用特定CRUSH层次结构的池都会受到性能影响5.Pool types池类型复制池使用更多的网络带宽来复制数据副本擦除编码池使用更多的CPU来计算数据和编码块6.Node hardware硬件
替换一个失败的...
概念介绍
MGR至少两个，以提供高可用性第一个MGR被认为是active的，其他为备用MGR
主MGR会周期发送信标，默认超时时间30s，修改mon_mgr_beacon_grace参数来调整
1234567ceph mgr stat{ "epoch": 37, "available": true, "active_name": "cephadm-3.zwfiyn", "num_standby": 3}
MGR是模块化架构可以根据需求启用或...
ceph中强制要求data与metadata分开，创建CephFS需要一个data池与一个MDS元数据池
元数据服务器MDS为ceph客户端管理元数据
cephfs客户端访问osd的流程
1.cephfs客户端联系MON，验证和检索集群映射2.cephfs客户端向主MDS查询文件元数据3.cephfs客户端使用元数据直接与osd通信来访问对象
MDS特性
1.MDS ranks等级MDS级别定义了元数据负载如何分布在MDS上，rank数量由max_mds配置设置定义，是一次可以激活的MDS守护进程的最大数量
2.Subvolumes Group子卷cephfs子卷是独立的cephfs文件...
对象存储相关概念啥的略过
Ceph支持S3接口和OpenStack Swift接口
RGW介绍RADOSGW（RGW）是一种使用标准对象存储API为客户端提供对ceph集群访问的服务
客户端使用标准api与RGW通信，RGW调用librados模块与ceph集群通信
RADOSGW提供了一种专用的radosgw-admin应用程序，用于控制权限，使用户只能访问网关，无法直接使用cephx对集群进行访问
默认池
RGW会在每个区域的基础上自动创建默认池，这些池使用PG，并使用默认CRUSH层级结构默认会有比如.rgw.root .default.rgw.control这种池
可以自定义，红...
ceph支持两个存储集群之间的RBD mirroring，实际上和灾备有关
该机制使用异步机制做一主一从的两个集群
如果包含主RBD映像的集群变得不可用，那么可以从远程集群故障转移到辅助RBD映像
mirror配置参数复制模式
1.One-way/active-passive单向模式（主备）其中一个集群的RBD是读写模式，mirror代理在远端集群运行，可以有多从集群2.Two-way/active-active双向模式（双活）ceph同步目标源和目标对，只允许在两个集群中复制
镜像单位—pool模式/image模式
以pool或者image为单位进行mir...
导入（Import）和导出（Export）操作是管理和迁移 RBD 镜像数据的关键手段
作用：1.使用实际数据量测试新版本2.使用实际的数据量运行质量保证流程3.实现业务连续性场景4.从生产块设备解耦备份进程
导入导出操作123456789101112131415161718参数 作用--export-format 指定导出格式（1 或 2，默认 2）--image-format 导入时指定 RBD 格式（必须匹配）--compress-algorithm 压缩算法（如 lz4, zstd）--object-size 导入时指定对象大小（如 4M, 8M）--stripe-unit 条带...
RBD镜像格式2的镜像可以支持几个可选的特性
其中layering特性是RBD镜像的核心特性
12rbd feature enable <pool-name>/<rbd-name> layeringrbd feature disable <pool-name>/<rbd-name> layering
镜像快照snap先说如果没有快照的情况下，数据对RBD的读写会直接写入磁盘
首先快照是什么
与虚拟机不同，RBD的快照在初始状态下是一个和原镜像同样结构的空镜像
COW写时复制/COR读时复制写入数据首先snap是只读的，写入是对R...
服务类型
是否依赖存储池
存储池用途
创建方式
RBD
✅ 必须绑定存储池
直接存储块设备镜像
rbd create -p <pool> ...
RGW
✅ 自动创建关联存储池
存储对象数据/元数据/索引
由 RGW 自动管理
CephFS
⚠️ 需要专用存储池
存储文件系统数据/元数据
ceph fs new <fs> <metadata> <data>
自定义应用
✅ 可直接使用任意存储池
通过 librados 直接读写对象
rados -p <pool> put .....
Ceph通过CRUSH放置算法，来计算哪些OSD应该保存哪些对象，对象是放到PG中，而CRUSH决定这些PG应该放在哪些OSD中，
CRUSH算法与对象放置策略CRUSH算法CRUSH算法使Ceph客户端可以直接与OSD通信：Ceph客户端与osd使用CRUSH算法来有效计算关于对象位置的信息，而不是依赖于中央查找表，避免了单点故障和性能瓶颈
作用：在对象存储中均匀分布数据、管理复制、响应系统增长和硬件故障
当新增OSD或已有OSD或OSD主机故障时，Ceph使用CRUSH来重新平衡集群中活动OSDs之间的对象。
CRUSH映射组件一个CRUSH映射包含两个组件，整个集群只有一份CRUS...
