장애 보고서 - 20151204

원인 요약

미꾸라지 중계 서버의 Core 역할을 하는 데몬이 특정 조건하의 오류를 제대로 처리하지 못해서 후속적으로 연결되어 있는 혹은 이미 연결되어 있는 세션들에 대한 handling 작업이 제대로 이루어지지 않아 발생된 장애입니다. 이로 인해, 문제가 되는 1 개의 연결이 아닌 모든 연결에 영향을 주게 되었습니다.

장애 지속 시간

2015-12-03 오후 11 시경 ~ 2015-12-04 오전 10 시 (PST 기준)

• 약 11 시간 정도 간혈적으로 장애가 발생된 것으로 파악하고 있습니다. 즉, 어떤 중계 서버들은 이 이슈로 인해 제대로 동작하지 않은 서버도 있지만 어떤 중계 서버들은 제대로 되는 서버들도 있었습니다.
• 중앙 서버들의 경우, 장애가 없어 대부분의 UI 및 DB 연결 모두 정상이었습니다.

조치 및 경과

미꾸라지 Core 데몬에 대한 패치 작업을 진행하여, 원인이 될 수 있는 부분을 제거하였으며, 좀 더 제대로 된 오류 처리를 하도록 코드를 수정하였습니다. 해당 패치된 데몬은 긴급하게 모든 중계 서버에 배포되어 현재 구동중에 있습니다. 2 ~ 3 일 정도 이 오류가 제대로 처리가 되었는지 확인하기 위한 모니터링이 진행될 예정입니다.

보상

이번 장애로 인한 사건에 대해서는 보상 정책에 따라 각 계정별 일괄 처리될 것입니다.