Flink SQL 도입 배경 및 클러스터 환경 구축

Flink는 대규모 실시간 데이터 스트리밍 처리를 위한 오픈소스 데이터 처리 엔진으로, Azar의 매칭 서버에 사용됩니다. Flink SQL은 SQL을 통해 이벤트 스트리밍 처리 앱을 구현할 수 있는 기능으로, 레거시 앱의 유지보수 문제를 해결하기 위한 대안으로 채택되었습니다. Flink SQL의 주요 장점은 고가용성(High Availability), 고급 스트리밍 기능, 사용자 정의 함수(UDF) 및 커스텀 커넥터를 통한 확장성입니다.

Flink SQL 선택 이유

• Flink는 Checkpoint와 Savepoint를 통한 안정적인 상태 저장 및 복구를 지원합니다.
• 다양한 스트리밍 처리 기능을 SQL 문법으로 제공합니다.
• UDF 및 Custom Connector를 통해 팀의 요구에 맞는 기능을 추가할 수 있습니다.

클러스터 환경은 Kubernetes 위에서 구성되며, GitOps 방식을 통해 쿼리 배포가 이루어집니다. Flink SQL 도입 후 팀은 생산성과 운영 효율성을 크게 향상시켰으며, 안정적인 운영을 경험하고 있습니다.