장애 보고서 - 20141218

원인 요약

미꾸라지 중앙 서버의 경우 KT1 IDC 중계 서버와 동일한 머신에 동작을 하고 있는데, 미꾸라지 사용자 분들이 Full VPN 기능을 이용하여 KT1 IDC 중계 서버 상에서 BitTorrent 와 같은 P2P 프로그램을 돌린 것으로 확인되었습니다. 이로 인해 리눅스 커널의 netfilter 기능중 IP ConnTrack 테이블이 꽉차서 이로 인해 새롭게 연결되는 모든 것이 drop 되는 현상이 발생되었습니다.

지속 시간

2014-12-18 오전 6:45 ~ 2014-12-18 오전 9:30시 (PDT 기준)

• 중앙 서버 장애로 인해, 새롭게 미꾸라지 로그인을 하거나 홈페이지 접속을 할 경우 해당 기능이 제대로 작동되지 않는 문제가 있었습니다.
• 중계 서버들의 경우, 장애가 없었습니다.

경과

현재는 모든 기능이 정상 작동하고 있는 것으로 확인이 되며, 정상화 과정에서 아래와 같은 작업들이 있었습니다.

1. 더이상 KT1 중계 서버는 Full VPN 이용을 위한 용도로 사용될 수 없도록 조치를 취하였습니다. 이와 더불어 새롭게 KT4 IDC 중계 서버를 신설하였습니다.
2. 중앙 서버의 강제 재부팅 과정이 있었습니다.