[Log] Logstash 403 에러 해결

ELK를 구성하여 로그를 잘 쌓고 있었는데 어느 날 로그가 수집되고 있지 않았다.

 

원인을 찾기 위해 Logstash의 로그(/var/log/logstash/logstash-plain.log)를 열어봤다.

[INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"})

위의 로그가 많이 있어 검색을 해보니 ElasticSearch에 용량이 부족할 경우

 

Kibana에서 인덱스를 읽기 전용으로 변경한다는 내용이었다.

 

ElasticSearch의 저장 공간 사용량을 확인해보니 90% 넘게 차있었다.

 

이를 해결하기 위해 우선은 다음과 같이 쿼리를 날려 로그를 다시 수집할 수 있도록 했다.

PUT http://ElasticSearch:9200/_all/_settings
{
  "index": {
    "blocks": {
      "read_only_allow_delete": "false"
    }
  }
}

그리고 인덱스를 지워 용량을 확보해 로그들을 다시 쌓을 수 있었다.

 

참고 문헌

1. https://dev-yeon.tistory.com/12