장애 보고서 - 20230914
원인
미꾸라지의 로그인 및 인증을 담당하는 데몬이 특정 다수의 IP 로부터 많은 비정상 요청을 받아, 해당 데몬이 실행되고 있는 서버가 부하를 받아 발생된 이슈입니다. 인증 데몬은 내부적으로 1) 정상 경로로 접속한 인증 요청과 2) 네트워크 방화벽을 우회를 위해 구현된 Cloudflare 경로로 접속한 인증 요청으로 나뉘게 되는데, 이번에 문제가 된 부분은 후자 (Cloudflare 로부터) 에서 전달된 비정상적인 요청으로 인한 것입니다.
미꾸라지 중계 서버들 자체는 문제가 없었으며, 프로그램을 이용한 로그인 및 각종 내부 정보 전달에 이슈가 발생되었습니다. 불편을 드려 죄송합니다. ㅠ.ㅠ
장애 지속 시간
- 2023-09-14 7:00 AM ~ 2023-09-14 10:0 AM (PST 기준)
- 약 3 시간동안, 프로그램을 통한 미꾸라지 로그인 및 사용이 제대로 동작하지 않았습니다. DB 부하로 인하여 웹페이지 이용이나 서비스 이용에 문제가 발생되었습니다.
조치 및 경과
- 인증 데몬 패치 작업을 진행하였습니다. 연결이 오랫동안 지속되지 않도록 수정되었습니다. 비정상적인 연결이 있을 경우, 관리자가 해당 연결을 좀 더 추적할 수 있도록 코드를 변경하였습니다.
보상
이번 장애로 인한 사건에 대해서는 보상 정책에 따라 각 계정별 일괄 처리될 것입니다.