올리브영 On-call 시스템 구축

올리브영은 인시던트 발생 시 슬랙 채널을 자동으로 생성하고 알림을 전송하는 On-call 시스템을 구축했습니다. 기존에는 슬랙 알림이 꺼져 있으면 장애 정보가 잘 전파되지 않는 문제가 있었습니다.

AWS Lambda 활용

AWS Lambda를 통해 서버 관리 없이 코드를 실행하고, 인시던트 채널 생성과 관련된 슬랙봇 명령어를 사용하여 인시던트를 생성합니다. 이벤트 데이터를 처리하여 슬랙 채널을 만들고, 자동으로 사용자 초대 작업을 수행합니다.

장애 전파 및 처리

• CloudWatch Logs를 통해 Lambda 함수가 생성된 로그를 감지하면 Jira 티켓이 자동으로 생성됩니다.
• 온콜 웹 훅 호출로 장애 관련 담당자에게 전화 알림이 발송됩니다.

이 시스템을 통해 장애 인지 및 처리가 더 빨라졌으며, Jira 티켓 생성으로 관리가 수월해졌습니다. Lambda 도입으로 인해 확장성과 비용 절감, 유연성이 향상되었습니다.