데브옵스
글로벌 서비스에서 지역 통신사 네트워크 이슈 트러블슈팅하기
두줄요약
XY 국가 일부 사용자에게 통신사 Z 환경에서만 STOMP timeout이 반복 발생했습니다.\n데이터 분석, mobile proxy 재현, SNI 핫픽스로 원인을 좁히고 오류를 해소했습니다.
문제 상황
- 글로벌 서비스 Azar에서 XY 국가 일부 사용자에게 컴포넌트 A 관련
read timed out오류가 반복 발생 - 초기에는 소수 CS로 보였지만, 시간이 지나며 특정 통신사 사용자 중심으로 오류 건수가 점진적으로 증가
- 기존 모니터링으로는 지역 네트워크 일부에서만 발생하는 문제를 추적하기 어려운 상황
원인 분석
- CS 시트와 클라이언트 로그 분석에서 문제 사용자가 특정 통신사 Z에 집중되는 경향 확인
- Android에서만 증가 추이가 보였고, STOMP 통신의 timeout이 핵심 증상으로 파악
- SNI 없는 TLS 연결과 통신사 Z의 QoS 조합이 느린 응답과 timeout을 유발한 것으로 추정
해결 방법
- Mobile Proxy와 SOCKS5 프록시를 활용해 XY 국가의 지역 네트워크 환경을 재현
- Global Accelerator로 지역 ISP 구간과 인프라 구간을 분리 검증하며 문제 범위 축소
- STOMP 클라이언트에 SNI 포함 핫픽스를 배포하고, iOS 리포팅 버그도 함께 수정