장애 보고서 - 20181128
원인 요약
미꾸라지 사용자가 제작한 Custom Item 내용에 대한 Input Validation 이 제대로 이루어지지 않아, RTT 계산을 하는 내부 데몬이 crash 되는 현상이 발생하였습니다. 이로 인한 지속적인 서버 데몬 crash 와 증가하는 데몬간의 통신으로 인해 내부 인증 서버의 load 가 비정상적으로 높아지며, 로그인 장애 및 RTT 정보 장애가 발생되었습니다.
장애 지속 시간
- 2018-11-28 오전 10 ~ 2018-11-28 오후 2시 (KST 기준)
- 약 4 시간 동안 지속적으로 장애가 발생된 것으로 파악하고 있습니다. 이로 인해 로그인 문제 / RTT 정보 fetching 문제가 있었습니다.
조치 및 경과
- 현재 모든 미꾸라지 서비스 및 중계 서버가 문제없이 동작하고 있습니다. 혹시나 안되는 부분이 있다면 포럼에 글을 작성해 주시기 바랍니다.
- 미꾸라지 사용자 UI 의 Input Validation 을 강화하였습니다.
- 내부 RTT 계산 daemon 과 RTT fetching daemon 또한 Input Validation 를 하도록 코드를 수정하였으며, 현재 적용된 daemon 이 동작중입니다.
보상
이번 장애로 인한 사건에 대해서는 보상 정책에 따라 각 계정별 일괄 처리될 것입니다.