ElasticSearch、Logstash管理和监控——blocked by: [FORBIDDEN/12/index read-only / allow delete (api)]

 

1、某一天出现Kafka堆积大量未消费的记录：

 

2、该主题是用logstash进行消费的，然后查询logstash的日志（logstash/logs/logstash-plain.log），出现以下提示信息：

 

3、从上述日志可以看出，是输出到elasticsearch阻塞了，原因是相应的索引变成read-only了，无法写入数据，随即查询elasticSearch的监控状态，发现3个节点的disk都满了（下图有2个是我清空后截图的）：

 

4、最后查找到，是因为磁盘满了，所以变成了read-only了，导致无法写入数据，最终导致kafka出现大量积压未消费的记录。

 

解决方案：

5、在kibana中，通过命令设置read_only_allow_delete属性为false。

PUT _settings
{
  "index": {
    "blocks": {
      "read_only_allow_delete": "false"
    }
  }
}

 

6、在看logstash的日志，发现已经没有那个错误，可以正常消费kafka了。