适用版本： 6.8-8.9
1. 错误异常的基本描述 #
snapshot failed 表示 Elasticsearch 在获取 shard 的 safeCommitRef 时抛出了异常，随后被包装成 RecoveryEngineException。这里的 snapshot 并不是仓库层 REST snapshot 请求本身，而是恢复/复制引擎为了后续数据传输而尝试获取一个安全提交点时失败。
这条异常比 Failed to snapshot 更偏向 engine / commit 层。
常见现象 #
- 失败通常出现在恢复、复制或 peer recovery 上下文中。
- 日志里会带出
RecoveryEngineException和具体 shard。 - 下层异常可能与 commit 获取、store、engine 状态或本地文件一致性有关。
- 它不一定意味着
_snapshotREST API 创建快照失败，而可能是 recovery 引擎内部快照失败。
典型报错与异常栈 #
RecoveryEngineException: [index][0] phase[1] snapshot failed
2. 为什么会发生这个错误 #
在恢复链路里，Elasticsearch 需要先获取一个安全提交点 safeCommitRef。如果 acquireSafeCommit(shard) 失败，就说明当前 shard 的 engine、store 或提交点状态不满足后续恢复需要，因此会抛出 snapshot failed。
常见原因通常包括：
- shard engine 状态异常，无法获取 safe commit。
- store 或本地索引文件存在问题。
- shard 正处于关闭、损坏或不稳定恢复状态。
- 底层异常被统一包装成 recovery engine 的 snapshot 失败。
3. 如何排查和解决这个异常和解决这个异常 #
建议按“先看 safe commit 获取为什么失败，再区分是 engine 还是 store 问题”的顺序处理：
- 查看
RecoveryEngineException的下层cause。 - 确认失败 shard 是否同时有 store、translog 或 corruption 相关日志。
- 检查该 shard 是否正处于恢复、关闭或损坏修复流程中。
- 如果多个 shard 同时出现，扩大到节点磁盘和本地存储层面排查。
相关 Elasticsearch API #
GET /_recovery：查看恢复任务及失败 shard。GET /_cat/shards/{index}：查看相关 shard 当前状态。GET /_cluster/allocation/explain：分析失败 shard 为什么无法继续恢复。
排查时需要注意的问题 #
- 这条异常容易和 REST snapshot 混淆，实际常常发生在 recovery engine 内部。
- 根因通常不在 repository，而在本地 shard 的 commit / engine 状态。
- 如果下层伴随 store corruption 或 commit 获取失败，优先处理本地数据问题。
4. 如何解决这个错误 #
常用修复思路 #
- 优先修复导致 safe commit 无法获取的 engine 或 store 问题。
- 对损坏 shard，评估是否需要重新分配、从其他副本恢复或重建。
- 将这类错误与普通 snapshot API 失败分开监控，避免误判方向。
借助 INFINI 产品提升排障效率 #
- INFINI Console 适合串联查看 recovery、store 异常和节点磁盘事件。
- INFINI Gateway 有助于区分是用户发起的快照请求失败，还是内部恢复链路失败。
5. 小结 #
snapshot failed 在这里指向的是 recovery engine 获取 safe commit 失败，不是普通仓库快照接口的一般错误。排查重点应放在 shard 本地 engine、store 和提交点状态上。
相关错误 #
- Failed to snapshot：分片快照执行时的通用包装异常
- 不允许创建快照：更早阶段的 shard state 限制
- 快照只能在主分片上执行：更早阶段的 shard 角色限制
- 恢复失败：恢复执行阶段的相邻异常
附：日志上下文 #
try {
safeCommitRef = acquireSafeCommit(shard);
resources.add(safeCommitRef);
} catch (final Exception e) {
throw new RecoveryEngineException(shard.shardId(), 1, "snapshot failed", e);
}
