장애 보고서 - 20231215
원인
이번 미꾸라지 서비스 장애의 경우, 미꾸라지 DB 서버의 과부하로 인해 발생된 이슈입니다. 사용자 정보가 담겨 있는 DB table 에서 빈번하게 update / select 가 이루어졌으며, 이에 대한 처리가 지연되며 장애가 발생하였습니다.
이 이슈로 인해 거의 모든 서비스가 제대로 동작하지 않았습니다. 불편을 드려 죄송합니다. ㅠ.ㅠ
장애 지속 시간
- 2023-12-15 8:20 AM ~ 2023-12-15 9:10 AM (PST 기준)
- 약 1 ~ 2 시간동안, 프로그램을 통한 미꾸라지 로그인 및 사용이 제대로 동작하지 않았습니다.
조치 및 경과
- 사용자 DB table 이 부하가 일어나지 않도록, 크레딧 차감 처리시, 병합하여 처리하도록 하였습니다. 또한 부하가 생긴다고 판단될 때, 처리를 지연시키도록 조치하였습니다.
- 각각의 미꾸라지 중계 서버의 크레딧 사용량을 더 이상 계산하지 않도록 하였습니다.