좌충우돌 개발 블로그

ElasticSearch에서 다음과 같은 로그가 발생했었다.

[WARN ][o.e.d.i.m.MapperService  ] [_default_] mapping is deprecated since it is not useful anymore now that indexes cannot have more than one type

이 로그는 _default_ mapping을 사용해서 발생하는 문제로

6.0.0 부터 Deprecated 되어 실제 적용된 매핑 타입으로 적용하면 된다.

그러나 "실제 적용된 매핑 타입으로 적용"을 어떻게 해야하는지 찾을 수 없었다.

mapping api로 되는지도 해봤지만 전혀 되지 않았고 Kibana 설정으로도 변경을 할 수 없었다.

인덱스를 새로 만들어서 복사해보라는 것도 있어 이를 해봤지만 이것 역시 _default_가 생겼다.

그러다가 다른 인덱스에서는 발생을 안하는데 logstash 로 시작하는 인덱스에서만 _default_가 있어

인덱스 이름에 logstash 를 다른 이름으로 변경하여 저장해보니 _default_가 만들어지지 않았다.

정확한 이유는 모르겠지만 logstash로 시작되는 인덱스의 경우에는 _default_가 생성되는 것으로 보여진다.

참고 문헌

1. https://www.elastic.co/guide/en/elasticsearch/reference/6.4/default-mapping.html

HADOOP을 설치하고 웹에서 파일을 추가하거나 삭제할 수 있는데 다음과 같은 에러가 나면서 되지 않았다.

Permission denied: user=dr.who, access=WRITE, inode="/path/to/file":current_user:supergroup:drwxr-xr-x

현재 HADOOP이 실행되고 있는 환경의 사용자 권한이 추가되지 않아 생기는 에러로

etc/hadoop/core-site.xml에 다음을 추가하고 재시작하면 된다.

<property>
  <name>hadoop.http.staticuser.user</name>
  <value>current_user</value>
</property>

참고 문헌

1. https://github.com/infoscis/Wiki/wiki/Pseudo-distributed-Hadoop(YARN)-설치

golang 프로젝트의 로그를 수집하기 위해 confluent-kafka-go를 이용했다.

이를 위해서 librdkafka를 설치해야 하는데

confluent-kafka-go 최신 버전의 경우 1.3.0 이상을 사용해야 한다는 에러가 났다.

CeontOS 7에서 yum으로 설치하는 경우 0.11.x로만 가능해서 생긴 문제로

최신 버전은 바이너리 파일을 제공하지 않아 직접 빌드해야 했다.

다음과 같이 저장소를 받아서 태그를 1.3.0으로 변경했다.

최신은 1.4.0-RC4 이지만 아직 정식이 아니라 1.3.0으로 했다.

$ git clone https://github.com/edenhill/librdkafka.git
$ cd librdkafka
$ git checkout tags/v1.3.0 -b v1.3.0
$ cd librdkafka

librdkafka에서 packaging/rpm/Makefile을 보면 mock를 이용하여 rpm 파일을 생성한다.

$ sudo yum install -y mock
$ sudo usermod -a -G mock current_user
$ cd packaging/rpm
$ make

pkg-1.3.0-1-default 디렉토리 밑에 rpm 파일이 생긴 것을 확인할 수 있다.

$ sudo yum install -y librdkafka1-1.3.0-1.el7.x86_64.rpm
$ sudo yum install -y librdkafka-devel-1.3.0-1.el7.x86_64.rpm

위와 같이 설치해주면 confluent-kafka-go를 에러없이 사용할 수 있다.

참고 문헌

1. https://github.com/confluentinc/confluent-kafka-go

2. https://github.com/edenhill/librdkafka

ELK를 구성하여 로그를 잘 쌓고 있었는데 어느 날 로그가 수집되고 있지 않았다.

원인을 찾기 위해 Logstash의 로그(/var/log/logstash/logstash-plain.log)를 열어봤다.

[INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"})

위의 로그가 많이 있어 검색을 해보니 ElasticSearch에 용량이 부족할 경우

Kibana에서 인덱스를 읽기 전용으로 변경한다는 내용이었다.

ElasticSearch의 저장 공간 사용량을 확인해보니 90% 넘게 차있었다.

이를 해결하기 위해 우선은 다음과 같이 쿼리를 날려 로그를 다시 수집할 수 있도록 했다.

PUT http://ElasticSearch:9200/_all/_settings
{
  "index": {
    "blocks": {
      "read_only_allow_delete": "false"
    }
  }
}

그리고 인덱스를 지워 용량을 확보해 로그들을 다시 쌓을 수 있었다.

참고 문헌

1. https://dev-yeon.tistory.com/12