跨集群复制跟随者操作批处理大小配置

配置项作用 #

plugins.replication.follower.index.ops_batch_size 配置项用于控制跟随者索引处理的操作批处理大小。

配置项属性 #

• 配置路径: plugins.replication.follower.index.ops_batch_size
• 数据类型: Integer（整数）
• 默认值: 50000
• 是否可选: 是
• 作用域: NodeScope（节点级别）
• 动态更新: 是（可以动态更新，无需重启）

配置建议 #

默认配置 #

plugins:
  replication:
    follower:
      index:
        ops_batch_size: 50000  # 默认值

高吞吐场景 #

plugins:
  replication:
    follower:
      index:
        ops_batch_size: 100000  # 提高吞吐量

低延迟场景 #

plugins:
  replication:
    follower:
      index:
        ops_batch_size: 25000  # 降低延迟

功能说明 #

批处理影响 #

• 较大的批处理: 提高吞吐量，但增加内存使用和潜在延迟
• 较小的批处理: 降低延迟，但可能降低吞吐量

性能权衡 #

批处理大小的选择需要在吞吐量和延迟之间做出权衡。

使用场景 #

批量写入场景 #

# 适合批量写入、高吞吐场景
plugins:
  replication:
    follower:
      index:
        ops_batch_size: 200000

实时查询场景 #

# 适合需要低延迟的实时查询场景
plugins:
  replication:
    follower:
      index:
        ops_batch_size: 10000

注意事项 #

1. 动态更新: 此配置可以动态更新，无需重启节点。

2. 默认平衡: 默认值 50000 在大多数场景下是一个很好的平衡。

3. 内存考虑: 较大的批处理大小会增加内存使用。

4. 延迟考虑: 较小的批处理可以降低延迟，适合实时场景。

5. 性能测试: 根据实际工作负载调整此值。