좌충우돌 개발 블로그

키바나를 통해 소수점으로 표시된 숫자가 안나오는 경우가 있었다.

처음엔 엘라스틱 서치에서 제대로 저장이 안되는 줄 알고 로그스태시에서 형변환하여 저장하도록 했다.

하지만 여전히 정수로만 표시되어 엘라스틱 서치 API로 조회해보니 값은 제대로 있는 것을 확인할 수 있었다.

키바나의 문제라 생각하고 찾아보니 설정으로 해결할 수 있었다.

Management > Stack Management > Advanced Settings에서 Read fields from _source 를 켜주면 된다.

참고 문헌

1. https://discuss.elastic.co/t/kibana-suddenly-rounding-number-field-to-single-digit/276003/3

카프카를 helm으로 설치하고 삭제한 뒤에 서비스가 제대로 제거되지 않고 남아 있었다.

서비스를 삭제하기 위해 kubectl delete svc ... 나 kubectl delete svc ... --force 를 했지만 되지 않았다.

그래서 찾아보니 metada에 있는 아래의 finalizers 항목을 지우면 된다고 해서 해보니 바로 제거되는 것을 확인할 수 있었다.

finalizers:
  - service.kubernetes.io/load-balancer-cleanup

참고 문헌

1. https://serverfault.com/a/1018700

1. https://opsverse.io/2022/12/15/grafana-sqlite-and-database-is-locked/

2. https://grafana.com/docs/grafana/latest/developers/http_api/alerting_provisioning/#span-idroute-post-alert-rulespan-create-a-new-alert-rule-_routepostalertrule

기존에는 서버에 직접 로그스태시를 설치하여 카프카와 ES를 연동했다.

그래서 메모리 문제가 발생할 때 설정을 수정하고 재시작했었고 서버에 문제가 생기는 경우 로그 수집이 중단됐었다.

서버를 더 늘리면 되는데 그때마다 증설이 어려워 kubernetes를 이용해보기로 했다.

helm install -f values.yaml logstash elastic/logstash
helm upgrade -f values.yaml logstash elastic/logstash

기존에는 서버별로 수집하는 토픽을 설정했다면 쿠버네티스로 이전하면서 필터가 비슷한 경우 아니면 전부 분리할 수 있었다.

replica 수를 설정하여 파티션 만큼 로그스태시를 올릴 수 있어 속도 개선이나 장애 상황에 유연하게 대응할 수 있었다.

또한 파드별로 리소스 제한을 하여 특정 토픽에 메모리 문제가 생겨도 해당 파드만 재시작되어 다른 토픽 수집이 안됐던 것을 방지할 수 있었다.

참고 문헌

1. https://github.com/elastic/helm-charts/tree/main/logstash