장애 보고서 - 20231209

원인

이번 미꾸라지 서비스 장애의 경우, 미꾸라지 내부 문제가 아닌, 미꾸라지 메인 서버들이 위치한 KT ucloud 측의 이슈로 판단이 됩니다. 장애가 발생되기 전 몇 시간 전부터 이유없이 내부 인증 서버와 DB 서버 사이 간 "Lost connection to MySQL server during query" 이슈가 발생되며, 연결이 지연되는 이슈가 있었습니다.

그리고 몇 시간 후부터 본격적으로 내부망 연결이 비정상적으로 끊어짐이 지속되었으며, 해당 이슈가 약 2 시간 동안 발생하였습니다. 미꾸라지 쪽은 아무런 패치 작업을 하지 않았지만, KT 측에서 해결을 한 것인지 자연스럽게 증상이 사라졌습니다.

미꾸라지 자체는 문제가 없었지만, 이 이슈로 인해 거의 모든 서비스가 제대로 동작하지 않았습니다. 불편을 드려 죄송합니다. ㅠ.ㅠ

장애 지속 시간

• 2023-12-09 6:33 PM ~ 2023-12-09 7:51 AM (PST 기준)
• 약 2 ~ 3 시간동안, 프로그램을 통한 미꾸라지 로그인 및 사용이 제대로 동작하지 않았습니다.

조치 및 경과

• 이 이슈의 경우, 다각적으로 미꾸라지 이슈로 인해서 발생되는 것인지 분석을 하였지만, 해당 이슈는 미꾸라지 내부 이슈가 아닌 것으로 판단되었습니다.
• 아무런 조치를 취하지 않았습니다.