引擎创建失败异常 (engine_creation_failure_exception) 错误排查与解决

# 查看磁盘使用情况
df -h

# 查看数据目录的磁盘空间
du -sh /path/to/easysearch/data

# 清理不必要的文件
# 删除旧索引
DELETE /<old_index>

# 删除不需要的快照
DELETE /_snapshot/<repository>/<snapshot_name>

# 查看当前限制
ulimit -n

# 查看进程实际使用的文件描述符
ls -l /proc/<easysearch_pid>/fd | wc -l

# 增加文件描述符限制
# 编辑 /etc/security/limits.conf
easysearch soft nofile 65536
easysearch hard nofile 65536

# 或使用 sysctl
fs.file-max = 2097152

# 查看索引目录结构
ls -la /path/to/easysearch/data/nodes/0/indices/<index_id>/0/index/

# 检查是否有损坏的文件
# 查找 .lock 文件
find /path/to/easysearch/data -name "*.lock"

# 检查文件权限
ls -l /path/to/easysearch/data/nodes/0/indices/

# 查看引擎创建相关错误
grep -i "engine.*fail\|translog.*error" /path/to/easysearch/logs/easysearch.log | tail -100

# 查看 IOException 相关错误
grep -i "IOException\|CorruptIndexException" /path/to/easysearch/logs/easysearch.log | tail -50

# 如果有副本，可以先删除主分片，让副本提升
POST /_cluster/reroute
{
  "commands": [
    {
      "allocate_stale_primary": {
        "index": "<index>",
        "shard": 0,
        "node": "<node_name>",
        "accept_data_loss": true
      }
    }
  ]
}

# 或删除整个索引并重建
DELETE /<index>

# 然后从快照恢复
POST /_snapshot/<repository>/<snapshot_name>/_restore
{
  "indices": "<index>"
}

# 如果有快照，从快照恢复分片
POST /_snapshot/<repository>/<snapshot_name>/_restore
{
  "indices": "<index>",
  "include_global_state": false
}

# 查看快照
GET /_snapshot/<repository>/_all

# 关闭索引
POST /<index>/_close

# 等待关闭完成
GET /<index>/_close

# 重新打开索引
POST /<index>/_open

# 尝试修复索引（如果可能）
POST /<index>/_shard/<shard_id>/_repair

# 使用 fix API
POST /<index>/_fix

# 查看 JVM 堆内存使用
GET /_nodes/stats/jvm?human&filter_path=**.heap

# 如果内存不足，考虑增加堆内存
# 在 jvm.options 中配置
-Xms16g
-Xmx16g

# 警告：仅当有备份时执行此操作
# 停止节点
sudo systemctl stop easysearch

# 备份当前数据
cp -r /path/to/easysearch/data /path/to/backup/

# 删除问题索引的数据
rm -rf /path/to/easysearch/data/nodes/0/indices/<index_id>

# 重启节点
sudo systemctl start easysearch

# 检查文件系统错误
sudo fsck /dev/sdX

# 检查磁盘健康
sudo smartctl -a /dev/sdX

# 检查磁盘是否有坏块
sudo badblocks -v /dev/sdX

# 查看问题分片的详细状态
GET /_cat/shards?v&h=index,shard,prirep,state,node&s=state

# 查看分片存储信息
GET /<index>/_shard_stores

# 尝试重新分配分片
POST /_cluster/reroute?retry_failed=true

# 手动分配到其他节点
POST /_cluster/reroute
{
  "commands": [
    {
      "move": {
        "index": "<index>",
        "shard": 0,
        "from_node": "<source_node>",
        "to_node": "<target_node>"
      }
    }
  ]
}

# 查看是否有大量并发操作
GET /_cat/thread_pool?v&h=node,name,active,queue,rejected

# 如果队列堆积，考虑限流

# 有时重启可以清理锁文件和状态
sudo systemctl restart easysearch

# 如果问题持续，可能需要重建节点