11주3일차_Logstash_구성요소_이해_및_ELK_파이프라인_구성_실습

11주3일차_Logstash_구성요소_이해_및_ELK_파이프라인_구성_실습

• Logstash는 ELK 스택(Elasticsearch, Logstash, Kibana)에서 데이터 인제스트(ingest) 계층을 담당하며, 실시간 로그 및 이벤트 데이터를 효과적으로 처리하는 데 사용됩니다.

  1.2 Logstash 특징

• 다양한 데이터 소스 지원
  • Logstash에는 플러그인으로 확장 가능한 200개 이상의 플러그인 프레임워크가 포함되어 있으며, 다양한 입력과 필터, 출력을 자유롭게 조절할 수 있습니다.
  • 파일, 데이터베이스, 메시지 큐(Kafka, RabbitMQ), HTTP, TCP 등 다양한 입력 소스를 지원합니다.
• 강력한 데이터 변환 기능
  • Grok, Mutate, JSON, CSV 등의 플러그인을 활용하여 데이터 정제 및 변환이 가능합니다.
• 다양한 출력 옵션 제공
  • Elasticsearch, File, Kafka, AWS S3, TCP 등 다양한 대상으로 데이터를 보낼 수 있습니다.
• 유연한 확장성
  • 플러그인 기반의 모듈형 구조를 제공하여 쉽게 확장 가능합니다.
• 실시간 데이터 처리 지원
  • 대량의 로그 데이터를 실시간으로 수집하고 변환하는 데 적합합니다.
• JSON 기반 설정 파일 사용
  • Logstash의 구성 파일은 JSON 또는 YAML 형식으로 직관적으로 설정할 수 있습니다.
• 안정성
  • Logstash 노드 다운 시, Logstash는 Persistent Queue를 사용하여 현재 처리 중인 이벤트에 최소 1회의 전송(At-least-once Delivery)을 보장합니다.