[Log] Logstash Pipeline 사용하기

Logstash에서 pipeline으로 개별로 설정을 하여 로그를 수집할 수 있다.

 

그래서 input, filter, output으로 나누어 사용하기 위해

 

다음과 같이 디렉토리를 구분하여 pipelines.yml을 설정했다.

- pipeline.id: input
  path.config: "/etc/path/to/input.conf"
- pipeline.id: filter
  path.config: "/etc/path/to/filter.conf"
- pipeline.id: outpue
  path.config: "/etc/path/to/output.conf"

하지만 실제론 input만 동작하고 나머지는 non_running_pipelines로 되어 동작하지 않았다.

 

다시 문서를 읽어보니 개별 설정마다 input이 있어야 했다.

 

그래서 디렉토리에서 파일을 나눈 다음 순서대로 합쳐질 수 있도록 파일명을 수정했다.

conf.d/
|- 01-input.conf
|- 02-filter.conf
|- 03-output.conf

그리고 pipelines.yml은 다음과 같이 수정하여 잘 동작하는 것을 확인할 수 있었다.

- pipeline.id: input
  path.config: "/etc/path/to/*.conf"

 

참고 문헌

1. https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html

2. https://www.elastic.co/guide/en/logstash/current/pipeline-to-pipeline.html