配置项作用 #
thread_pool.search.queue_size 配置项用于控制搜索线程池的初始队列大小。
对于 FIXED_AUTO_QUEUE_SIZE 类型的线程池，这是队列的初始容量，实际大小会根据负载动态调整。
配置项属性 #
- 配置路径:
thread_pool.search.queue_size - 数据类型:
Integer（整数） - 默认值:
1000 - 是否可选: 是
- 作用域: NodeScope（节点级别）
- 动态更新: 否（需要重启节点生效）
配置项详解 #
工作机制 #
FIXED_AUTO_QUEUE_SIZE 队列
固定线程数:
├── size: 固定不变
├── (CPU × 3) / 2 + 1
└-- 并发处理能力
自动调整队列:
├── 初始大小: queue_size (1000)
├── 动态范围: [min_queue_size, max_queue_size]
├── 调整依据: Little's Law
│ ├── 队列大小 = 吞吐量 × 响应时间
│ ├── 目标响应时间: 1s
│ └── 自动优化
└-- 实时调整
队列行为:
├── 有任务 → 加入队列
├── 线程空闲 → 从队列取任务
├── 队列满 → 拒绝新请求
└-- 队列空 → 等待任务
queue_size 设置影响 #
不同 queue_size 值
queue_size = 1000 (默认):
├── 初始容量: 1000
├── 动态调整: 1000-1000
├── 实际固定: 1000
└-- 适用大多数场景
queue_size = 500:
├── 初始容量: 500
├── 内存占用: 低
├── 响应延迟: 低
└-- 适用低延迟场景
queue_size = 2000:
├── 初始容量: 2000
├── 内存占用: 较高
├── 吞吐量: 高
└-- 适用高吞吐场景
queue_size = -1:
├── 无界队列
├── 不拒绝请求
├-- 可能 OOM
└-- 谨慎使用
与 target_response_time 的配合 #
自动调整机制
目标响应时间: 1s
系统负载低:
├── 实际响应 < 1s
├── 系统认为队列可以减小
├── 队列大小向下调整
└-- 释放内存
系统负载高:
├── 实际响应 > 1s
├── 系统认为队列需要增大
├── 队列大小向上调整
└-- 提高吞吐量
调整限制:
├── 不能低于 min_queue_size
├── 不能高于 max_queue_size
└-- 在范围内动态平衡
配置建议 #
默认配置（推荐） #
thread_pool:
search:
queue_size: 1000 # 默认值
建议: 大多数场景使用默认值。
高吞吐场景 #
thread_pool:
search:
queue_size: 2000
建议: 高并发查询场景使用。
低延迟场景 #
thread_pool:
search:
queue_size: 500
size: 16 # 增加线程
建议: 优先保证响应速度时使用。
无界队列（谨慎） #
thread_pool:
search:
queue_size: -1 # 无界
建议: 仅在特殊场景使用，需要监控内存。
动态更新 #
PUT /_cluster/settings
{
"transient": {
"thread_pool.search.queue_size": 2000
}
}
代码示例 #
基础配置 #
thread_pool:
search:
queue_size: 1000
完整配置 #
thread_pool:
search:
size: 13
queue_size: 1000
target_response_time: 1s
查看线程池状态 #
GET /_cat/thread_pool/search?v
查看队列统计 #
GET /_cat/thread_pool/search?v&h=active,queue,rejected
相关配置 #
| 配置项 | 作用 | 默认值 |
|---|---|---|
search.queue_size | 初始队列大小 | 1000 |
search.size | 线程池大小 | (CPU×3)/2+1 |
search.min_queue_size | 最小队列大小 | 1000 |
search.max_queue_size | 最大队列大小 | 1000 |
search.target_response_time | 目标响应时间 | 1s |
注意事项 #
默认值: 默认值为
1000，适用于大多数场景。非动态更新: 需要重启节点才能生效。
自动调整: 实际队列大小会根据负载动态调整。
内存占用: 队列占用内存，需考虑资源限制。
与 size 配合: 应与
size配合调整。响应延迟: 队列越长，等待时间可能越长。
拒绝保护: 队列满时拒绝请求，保护系统。
监控建议: 监控队列长度和拒绝率。
合理设置: 根据实际负载模式设置。
OOM 风险: 无界队列可能导致内存问题。
使用场景 #
场景选择指南
标准查询场景:
├── queue_size: 1000
├── 特点: 查询量平稳
├-- 内存: 充足
└-- 推荐: 默认配置 ✅
突发流量场景:
├── queue_size: 2000-3000
├── 特点: 偶尔高峰
├-- 内存: 需要足够
└-- 推荐: 增加队列
高并发场景:
├── queue_size: 2000
├── size: 增加
├── 特点: 持续高负载
└-- 推荐: 全面优化
低延迟优先:
├── queue_size: 500
├── size: 增加
├── 特点: 响应速度优先
└-- 推荐: 减少队列
故障排查 #
队列问题排查
问题: 搜索请求被拒绝
错误信息:
rejected execution of org.easysearch.action.search.TransportSearchAction
排查:
├── 查看线程池状态
│ └── GET /_cat/thread_pool/search?v
│
├── 检查队列是否满
├── 检查活跃线程数
├── 分析查询频率
└-- 评估峰值负载
解决方案:
方案 1: 增加 queue_size ✅
├── 提高初始队列大小
├── 允许更多缓冲
└-- 无需重启
方案 2: 增加 size ✅
├── 提高处理能力
├── 加快队列消耗
└-- 配合调整
方案 3: 优化查询 ✅
├── 优化慢查询
├── 减少复杂聚合
├── 使用分页
└-- 提高效率
方案 4: 客户端优化 ✅
├── 客户端限流
├── 连接池优化
├── 重试机制
└-- 保护系统
最佳实践 #
队列管理最佳实践
1. 容量规划
├── 估算峰值 QPS
├── 计算平均查询时间
├── 估算所需队列大小
└-- 预留缓冲空间
2. 监控告警
├── 监控队列长度
├── 监控拒绝率
├── 设置告警阈值
│ ├── queue > 80% → 警告
│ ├── rejected > 0 → 告警
│ └-- 响应时间 > 阈值 → 告警
└-- 及时响应
3. 动态调整
├── 从默认值开始
├── 根据监控调整
├── 重启节点生效
└-- 观察效果
4. 资源平衡
├── 考虑内存限制
├── 配合 size 调整
├── 避免过度配置
└-- 保持系统平衡
5. 性能测试
├── 压力测试队列
├── 测试峰值负载
├── 验证拒绝率
└-- 确保稳定性
