尝试对失败的转换执行搜索请求 - 如何解决此 Elasticsearch 异常

适用版本： 7.4-8.9

1. 错误异常的基本描述 #

Attempted to do a search request for failed transform [<transform_id>] 是 Elasticsearch Transform 功能在特定状态下抛出的运行时异常。当某个 Transform 任务已经处于 FAILED 状态，而系统内部或客户端仍尝试对该任务执行搜索（例如检查点推进、增量同步或 Point-In-Time 查询）时，就会触发此错误。

该异常的本质是：Transform 任务的生命周期状态与搜索请求之间存在冲突——已失败的任务不再持有有效的 PIT（Point-In-Time）上下文，也无法安全地执行后续搜索，因此 Elasticsearch 主动拒绝请求并抛出异常。

常见现象 #

• 在 Elasticsearch 日志中出现如下异常信息：

  ElasticsearchException: Attempted to do a search request for failed transform [<transform_id>]
  

• Transform 任务状态长期停留在 failed，无法自动恢复，相关索引数据不再更新。
• 调用 _transform/<transform_id>/_stats 接口时返回异常，或 Kibana 的 Transform 管理界面显示任务报错。
• 如果业务侧依赖 Transform 产出的目标索引，会观察到目标索引数据停滞、查询结果过期或聚合结果不完整。

典型报错与异常栈 #

ElasticsearchException: Attempted to do a search request for failed transform [my_transform].
  at org.elasticsearch.transform.TransformTask.doNextSearch(TransformTask.java)
Caused by: IllegalStateException: Transform task is in FAILED state

[<timestamp>][ERROR][o.e.t.TransformTask] [node_name] attempted to search while failed.

2. 为什么会发生这个错误 #

Transform 任务在执行过程中依赖持续性的搜索请求来读取源索引数据并写入目标索引。当任务进入 FAILED 状态后，其内部的搜索上下文（包括 PIT 和检查点）会被清理或标记为无效。此时若有以下情况之一，就会触发该异常：

常见原因 #

• Transform 任务执行过程中发生不可恢复错误：例如源索引被删除、mapping 发生不兼容变更、脚本异常、权限不足或磁盘空间耗尽，导致任务状态被置为 FAILED。
• 任务失败后仍有残留的搜索请求在队列中：Elasticsearch 内部调度存在微小的时间窗口，在任务状态切换为 FAILED 后，尚未执行的搜索请求仍可能被触发。
• 手动操作与自动调度冲突：在任务失败的同时，通过 API 手动触发了 _start、_stop 或 _upgrade 操作，导致状态竞争。
• 节点重启或 Master 切换后任务状态恢复异常：集群重启后 Transform 任务从持久化状态恢复，但 PIT 或检查点信息已失效，再次尝试搜索时触发异常。
• 版本 Bug：在 7.4-7.8 的部分版本中，Transform 任务在失败后的状态清理逻辑存在缺陷，可能重复触发搜索请求。

3. 如何排查这个异常 #

建议按以下顺序进行排查：

步骤一：确认 Transform 任务状态 #

# 查看指定 Transform 任务的状态
GET _transform/<transform_id>/_stats

# 查看所有 Transform 任务的状态
GET _transform/_stats

重点关注返回结果中的 state 字段，确认是否为 failed。同时检查 failure_reason 字段，了解任务最初失败的根本原因。

步骤二：检查任务失败原因 #

# 查看 Transform 任务配置
GET _transform/<transform_id>

结合以下信息定位根因：

• failure_reason：任务失败时的具体原因描述。
• 源索引是否存在且可访问。
• 源索引的 mapping 是否与 Transform 配置兼容。
• 执行 Transform 的用户权限是否充足（需具备源索引的 read 权限和目标索引的 create_index、write 权限）。

步骤三：检查集群日志 #

在 Elasticsearch 日志中搜索以下关键字，获取更多上下文：

grep -i "transform" /var/log/elasticsearch/elasticsearch.log | grep -i "failed\|exception"

步骤四：验证源索引和目标索引状态 #

# 检查源索引是否存在且健康
GET _cat/indices/<source_index>?v

# 检查目标索引是否存在
GET _cat/indices/<dest_index>?v

4. 如何解决这个错误 #

方案一：修复根因后重启 Transform 任务 #

这是最推荐的修复方式。首先根据 failure_reason 修复根本问题，然后重启任务：

# 停止任务（如果仍在运行）
POST _transform/<transform_id>/_stop

# 修复根因后，重新启动任务
POST _transform/<transform_id>/_start

方案二：重置并重建 Transform 任务 #

如果任务已严重损坏，可以选择删除并重建：

# 停止并删除 Transform 任务
POST _transform/<transform_id>/_stop
DELETE _transform/<transform_id>

# 重新创建 Transform 任务
PUT _transform/<transform_id>
{
  "source": { "index": "source_index" },
  "dest": { "index": "dest_index" },
  "pivot": {
    "group_by": { "field": { "terms": { "field": "field_name" } } },
    "aggregations": { "avg_price": { "avg": { "field": "price" } } }
  }
}

注意：删除任务不会自动删除目标索引。如果目标索引数据需要重新生成，请手动清理目标索引后再启动新任务。

方案三：从检查点恢复 #

如果任务支持，可以尝试通过重置检查点来恢复：

# 停止任务
POST _transform/<transform_id>/_stop

# 重新启动，任务会从上次成功的检查点继续
POST _transform/<transform_id>/_start

5. 如何预防此类问题 #

最佳实践 #

• 监控 Transform 任务状态：通过 Elasticsearch 监控或 INFINI Console 设置告警，当 Transform 任务状态变为 failed 时及时通知。
• 确保源索引稳定：Transform 依赖的源索引应避免频繁删除或变更 mapping。如需变更，应先停止 Transform 任务。
• 合理配置权限：为 Transform 执行用户配置稳定的角色权限，避免因权限变更导致任务失败。
• 控制单次批处理量：通过 settings.max_page_search_size 控制每次搜索的请求量，避免因单次数据量过大导致失败。

PUT _transform/<transform_id>/_update
{
  "settings": {
    "max_page_search_size": 1000
  }
}

• 定期清理已完成的 Transform 任务：对于一次性或临时任务，完成后及时删除，避免残留任务在集群重启后产生异常。

借助 INFINI 产品提升排障效率 #

• INFINI Console 可集中查看所有 Transform 任务的状态、失败原因和运行历史，快速定位异常任务。
• INFINI Gateway 可部署在 Elasticsearch 前端，对 Transform 相关的内部请求进行观测和记录，辅助排查任务失败前后的请求链路。

6. 小结 #

Attempted to do a search request for failed transform 异常的核心含义是：对已失败的 Transform 任务发起了搜索请求。解决该问题的关键在于先通过 _transform/<id>/_stats 接口确认任务失败的根本原因，修复根因后再重启任务。如果任务已无法恢复，则需要删除并重建。

建议在生产环境中对 Transform 任务设置状态监控告警，并在源索引发生变更时评估对 Transform 任务的影响，从而将此类问题消灭在萌芽阶段。

相关错误 #

• transform-failed：Transform 任务失败
• snapshot-failed：快照失败
• all-shards-failed：所有分片失败
• task-already-running：任务已在运行

附：源码上下文 #

以下为触发该异常的源码逻辑，便于深入理解错误触发条件：

@Override
protected void doNextSearch(long waitTimeInNanos, ActionListener<Void> nextPhase) {
    if (context.getTaskState() == TransformTaskState.FAILED) {
        logger.debug("[{}] attempted to search while failed.", getJobId());
        nextPhase.onFailure(
            new ElasticsearchException(
                "Attempted to do a search request for failed transform [{}].",
                getJobId()
            )
        );
        return;
    }
    if (getNextCheckpoint().getCheckpoint() != pitCheckpoint) {
        closePointInTime();
        // ...
    }
    // 正常执行搜索逻辑
}