Post

12주1일차_장애_심각도_정의_sla_sli_slo_설계

Posted Updated
By marshmallow
7 min read
12주1일차_장애_심각도_정의_sla_sli_slo_설계

내용

장애 심각도 분류 기준

  • 일반적으로 장애 심각도는 Critical (P1), Major (P2), Minor (P3), Trivial (P4) 등으로 나뉩니다.
  • 이는 SLA (Service Level Agreement) 및 장애 대응 프로세스에서 중요한 역할을 합니다.

3.4 장애 심각도 결정 기준

이 기준을 활용하여 장애 심각도를 결정하면 더 정확한 대응이 가능해집니다.

  • 장애 영향을 평가하는 질문
    • 서비스 가용성 (Availability)
      • 장애가 모든 사용자에게 발생하는가? 일부 사용자만 영향을 받는가?
      • 특정 기능만 영향을 받는가? 서비스 전체가 중단되는가?
  • 비즈니스 영향 (Business Impact)
    • 장애로 인해 금전적 손실이 발생하는가?
    • 고객 신뢰도에 영향을 미치는가?
  • 대체 가능성
    • 장애가 발생해도 대체 가능한 기능이 있는가? (예: 모바일 웹이 불가능하지만 PC 웹은 가능)
  • 복구 가능성
    • 장애가 발생했을 때, 즉시 해결이 가능한가? 아니면 장기적인 수정이 필요한가?

      SLO, SLA, SLI

SLO 사례분석

  • google
    • 장애 발생 시 SLO 초과 경고가 먼저 발생하여 SLA 위반을 방지
    • Google은 SLO 초과를 감지하면 자동으로 트래픽을 다른 리전으로 우회합니다.
  • netflix
    • 고객과의 SLA(99.9%)를 유지하면서도 SLO를 초과하면 자동으로 대응
    • Netflix는 SLO 모니터링을 통해 장애 감지 후, 즉시 콘텐츠 캐싱을 최적화합니다.

6.3 주요 SLO 항목

SLO는 서비스의 주요 성능 지표를 기반으로 설정됩니다.

6.5 SLO 모니터링 및 유지 방법

  1. 모니터링 도구 활용
    • Prometheus + Grafana → API 응답 시간, 가용성 추적
    • ELK Stack (Elasticsearch + Kibana) → 실시간 로그 분석
    • Datadog, New Relic → 클라우드 서비스 및 애플리케이션 모니터링
  2. 자동화된 경고 시스템 적용
    • SLO 초과 시 Slack 등으로 즉시 알림 발송
    1
2
3

     alert:
   condition: "SLI < SLO"
   action: "Send PagerDuty Alert"
  3. SLO 기반 장애 대응 프로세스 적용
    • SLO 초과 감지 시 트래픽 자동 우회
    • 장애 탐지 후 Auto Scaling 활성화
    • CDN 최적화 및 캐싱 강화

SLO는 SLA를 보호하는 중요한 역할을 하며, 모니터링 및 자동화 대응이 필수입니다.

9. SLA/SLO 위반 여부 평가 퀴즈

    1. 한 SaaS(Software as a Service) 기업의 SLA는 ‘월간 가용성 99.95%’로 설정되어 있다. 지난달 해당 서비스는 총 30분간 다운되었다. 이 경우 SLA 위반 여부는?

  • b. SLA 위반 아님.

    1. 어떤 API 서비스의 SLO는 ‘99.9%의 요청이 200ms 이내에 응답해야 한다’이다. 지난주 동안 전체 요청 1,000,000건 중 999,000건이 200ms 이내에 응답했다. SLO 위반 여부는?

  • a. SLO 준수했다.

    1. 클라우드 스토리지 서비스의 SLA는 ‘월간 99.99%의 가용성을 보장’한다. 30일 동안 총 10분 동안 서비스가 중단되었다면, SLA 위반 여부는?

  • b. SLA를 준수했다.

    1. 내부 모니터링 시스템에서 측정한 데이터는 SLI(Service Level Indicator)로 활용될 수 있다. 다음 중 SLI로 적절한 항목은?

  • b) “지난 한 달간 평균 응답 시간이 180ms였다.”

    1. 기업의 SLO는 ‘95%의 API 요청이 100ms 이내에 응답해야 한다’로 설정되어 있다. 실제 데이터 분석 결과, 지난 24시간 동안 요청 100만 건 중 930,000건이 100ms 이내에 처리되었다. 기업의 SLO 준수 여부와 적절한 조치는?

  • b) SLO를 위반했으며, 원인 분석 후 개선이 필요하다.

  • 6. 한 서비스의 SLA가 ‘월간 99.9% 가용성 보장’인데, 이번 달(30일 기준)에 총 45분 동안 서비스가 다운되었다. SLA를 준수했는지 계산하고 판단하시오.
  • 30 * 24600.001 = 43.2분
  • 이걸 넘었으므로 SLA 를 미준수. 계약 불이행으로 고객에게 서비스

- 10. 회사에서 운영하는 스트리밍 서비스의 SLA는 ‘99.95% 가용성’이다. 한 사용자가 지난 24시간 동안 서비스에 접속할 수 없었다고 불만을 제기했다. 이 경우, SLA 위반 여부를 어떻게 판단할 수 있는가?

정답: 개별 사용자 문제일 가능성이 크므로 전체 서비스 가용성 데이터를 확인해야 함.

해설:

  • SLA는 전체 서비스 가용성을 기준으로 평가됨.
  • 개별 사용자의 문제일 수도 있음 → 전체 서비스의 실제 가용성 데이터를 확인해야 함.

    확인하기.

  • 3.4 내용 확인하기.
This post is licensed under CC BY 4.0 by the author.