Linux 知识库

Appearance

GlusterFS 3副本变2副本节点+1仲裁节点方案 ​

背景描述 ​

在GlusterFS集群中，3副本配置虽然提供了高可用性，但会消耗大量存储空间（存储空间利用率仅为33%）。在某些场景下，为了提高存储空间利用率同时保持高可用性，可以将3副本配置调整为2副本+1仲裁节点的配置。这种配置方式可以将存储空间利用率提高到50%，同时通过仲裁节点解决脑裂问题。

环境分析 ​

收集信息 ​

  1. 当前卷配置：

    bash
    gluster volume info <volume-name>

  2. 集群状态：

    bash
    gluster peer status
gluster volume status <volume-name>

  3. 当前卷的副本数：

    bash
    gluster volume info <volume-name> | grep Replica

  4. 存储使用情况：

    bash
    df -h
du -sh /path/to/brick

  5. GlusterFS版本：

    bash
    gluster --version

环境评估 ​

  • 当前配置：3副本条带复制卷
  • 目标配置：2副本+1仲裁节点条带复制卷
  • 存储空间利用率：从33%提高到50%
  • 脑裂防护：通过仲裁节点提供脑裂防护
  • 数据可用性：在2副本+1仲裁节点配置下，只要有2个节点（包括1个数据节点和1个仲裁节点）可用，卷就能正常运行

解决方案 ​

切换步骤 ​

1. 准备仲裁节点 ​

  • 硬件要求：仲裁节点不需要大量存储空间，只需要足够的内存和CPU来运行GlusterFS服务

  • 软件安装：在仲裁节点上安装GlusterFS服务

    bash
    dnf -y install glusterfs glusterfs-server
systemctl start glusterd
systemctl enable glusterd

  • 添加仲裁节点到集群：

    bash
    gluster peer probe <arbiter-node>

2. 停止当前卷 ​

bash
# 确保在维护窗口执行此操作
gluster volume stop <volume-name> --mode=script

3. 转换卷配置 ​

将3副本卷转换为2副本+1仲裁节点卷：

bash
gluster volume reconfigure <volume-name> replica 3 arbiter 1 transport tcp \
    node1:/data/brick1 \
    node2:/data/brick1 \
    <arbiter-node>:/data/brick1 \
    node3:/data/brick1 \
    node4:/data/brick1 \
    <arbiter-node>:/data/brick2 \
    node5:/data/brick1 \
    node6:/data/brick1 \
    <arbiter-node>:/data/brick3

注意：

  • replica 3 arbiter 1 表示每个复制组有3个节点，其中1个是仲裁节点
  • 仲裁节点必须出现在每个复制组的最后位置
  • 例如：node1:/brick, node2:/brick, arbiter:/brick 是一个有效的复制组，其中arbiter是仲裁节点

4. 启动卷 ​

bash
gluster volume start <volume-name>

5. 验证卷配置 ​

bash
gluster volume info <volume-name>

输出应该显示类似以下内容：

Type: Stripe-Replicate
Volume ID: <volume-id>
Status: Started
Snapshot Count: 0
Number of Bricks: 3 x 3 = 9
Bricks:
Brick1: node1:/data/brick1
Brick2: node2:/data/brick1
Brick3: <arbiter-node>:/data/brick1 (arbiter)
Brick4: node3:/data/brick1
Brick5: node4:/data/brick1
Brick6: <arbiter-node>:/data/brick2 (arbiter)
Brick7: node5:/data/brick1
Brick8: node6:/data/brick1
Brick9: <arbiter-node>:/data/brick3 (arbiter)
Options Reconfigured:
cluster.arbiter-count: 1

6. 验证数据完整性 ​

bash
# 挂载卷
mount -t glusterfs node1:<volume-name> /mnt/test

# 测试文件读写
touch /mnt/test/test-file
echo "test data" > /mnt/test/test-file
cat /mnt/test/test-file
rm /mnt/test/test-file

7. 测试高可用性 ​

bash
# 模拟一个数据节点故障
systemctl stop glusterd@node1.service

# 验证卷仍可访问
cat /mnt/test/test-file

# 恢复故障节点
systemctl start glusterd@node1.service

验证方案 ​

1. 配置验证 ​

  • 检查卷类型：确保卷类型为条带复制卷

    bash
    gluster volume info <volume-name> | grep Type

  • 检查仲裁节点配置：确保每个复制组都有1个仲裁节点

    bash
    gluster volume info <volume-name> | grep -A 10 Bricks

  • 检查仲裁节点状态：确保仲裁节点正常运行

    bash
    gluster peer status

2. 功能验证 ​

  • 读写操作：测试在卷上进行正常的读写操作

    bash
    dd if=/dev/zero of=/mnt/test/testfile bs=1M count=100
md5sum /mnt/test/testfile

  • 故障测试：

    bash
    # 测试单个数据节点故障
systemctl stop glusterd@node1.service
cat /mnt/test/testfile
md5sum /mnt/test/testfile
systemctl start glusterd@node1.service

# 测试仲裁节点故障
systemctl stop glusterd@<arbiter-node>.service
cat /mnt/test/testfile
md5sum /mnt/test/testfile
systemctl start glusterd@<arbiter-node>.service

3. 性能验证 ​

  • 吞吐量测试：

    bash
    fio --name=seqread --ioengine=libaio --iodepth=16 --rw=read --bs=1M --direct=0 --size=10G --numjobs=4 --runtime=30 --group_reporting

  • IOPS测试：

    bash
    fio --name=randwrite --ioengine=libaio --iodepth=16 --rw=randwrite --bs=4k --direct=0 --size=1G --numjobs=4 --runtime=30 --group_reporting

4. 存储空间利用率验证 ​

bash
df -h /path/to/brick

注意事项 ​

  1. 维护窗口：转换过程需要停止卷，建议在维护窗口执行
  2. 数据备份：在转换前务必备份重要数据
  3. 仲裁节点选择：选择性能较好、网络稳定的节点作为仲裁节点
  4. 仲裁节点存储：仲裁节点只存储元数据，不需要大量存储空间
  5. 脑裂防护：仲裁节点可以有效防止脑裂问题，但需要确保仲裁节点的高可用性
  6. 版本兼容性：确保所有节点的GlusterFS版本支持仲裁节点功能
  7. 监控：转换后密切监控卷的性能和状态

最佳实践 ​

  1. 定期备份：无论采用何种副本配置，定期备份数据都是必要的
  2. 监控仲裁节点：确保仲裁节点的高可用性，避免成为单点故障
  3. 测试故障场景：定期测试各种故障场景，确保系统能够正常恢复
  4. 合理规划存储空间：根据数据增长趋势合理规划存储空间
  5. 使用快照：定期创建卷快照，以便在出现问题时快速恢复数据
  6. 监控性能：密切监控卷的性能指标，及时调整配置

回滚计划 ​

如果转换过程中出现问题，可以回滚到原始配置：

bash
# 停止卷
gluster volume stop <volume-name> --mode=script

# 恢复到3副本配置
gluster volume reconfigure <volume-name> replica 3 transport tcp \
    node1:/data/brick1 \
    node2:/data/brick1 \
    node3:/data/brick1 \
    node4:/data/brick1 \
    node5:/data/brick1 \
    node6:/data/brick1 \
    node7:/data/brick1 \
    node8:/data/brick1 \
    node9:/data/brick1

# 启动卷
gluster volume start <volume-name>

总结 ​

通过将3副本卷转换为2副本+1仲裁节点卷，可以在保持高可用性的同时提高存储空间利用率。这种配置方式适用于对存储空间利用率有较高要求，但又需要保证数据高可用性的场景。在转换过程中，需要注意数据备份、维护窗口选择和回滚计划制定，以确保转换过程的安全性和可靠性。