Apache Flink 어플리케이션의 End-to-End Latency 개선

이 게시물은 Flink 어플리케이션에서 end-to-end latency를 줄이기 위한 병목 지점을 찾아내는 과정을 소개합니다.

주요 단계

• Application Level: 각 operator 단위로 지표를 수집하고 비정상적으로 느린 부분을 찾아냅니다.
• Operator Level: Flame graph를 활용하여 문제를 정확히 진단하고 개선 포인트를 도출합니다.

성능 개선 방법

처리 시간과 처리 외 시간을 구분하여 각각의 병목 원인을 파악하고, 네트워크 I/O나 Flink 내부 코드 실행 시간을 분석하여 적절한 개선책을 제시합니다.