장애 보고서 - 20150510

원인 요약

미꾸라지 중앙 서버의 main 디스크 partition 이 full 이 되며, 이에 의존하는 Disk I/O 의 실패로 인해 홈페이지 서비스가 원활하게 이루어지지 않았습니다. 세부적인 원인에 대해서 말씀드리면 내부적으로 일을 처리하는 daemon 이 segfault 가 발생되며, 이로 인한 core dump 파일이 여러개 만들어 졌는데, 이 core dump 파일이 main 디스크 partition 으로 write 작업이 되도록 되어 있어 발생한 이슈였습니다.

지속 시간

2015-05-09 오후 10 시경 ~ 2015-05-10 오후 8 시 (KST 기준)

22 ~ 24 시간 장애가 발생된 것으로 파악하고 있습니다.
중앙 서버 장애로 인해, 새롭게 미꾸라지 로그인을 하거나 홈페이지 접속을 할 경우 해당 기능이 제대로 작동되지 않는 문제가 있었습니다.
중계 서버들의 경우, 장애가 없었습니다.
중앙 서버 단독의 문제였기 때문에, 기존에 접속되어진 사용자들은 영향을 받지 않으셨을 것입니다.

경과

현재는 모든 기능이 정상 작동하고 있는 것으로 확인이 되며 추가적으로 다음과 같은 조치를 취하였습니다.

main 디스크 partition 의 용량 확보 작업이 있었습니다.
추후 재발 방지를 위해, 디스크 사용량에 대한 모니터링과 알람 기능을 넣었습니다.

보상

이번 장애로 인한 사건에 대해서는 보상 정책에 따라 각 계정별 일괄 처리될 것입니다.