카카오페이 금융 AI 컨시어지 ‘페이지니’ 개발기

이 게시물은 카카오페이의 금융 AI 컨시어지 ‘페이지니’ 서비스 기획과 개발 경험을 공유합니다.

주요 기능 및 기술

• 사용자의 위치, 시간, 이용 기록을 기반으로 맞춤 금융 서비스 및 혜택 제안
• 음성(STT)과 텍스트 입력 지원, TTS 기능 포함
• AWS Bedrock 기반의 Multi-Agent Collaboration 구조 적용
• RAG(검색 증강 생성) 기법을 활용한 정확한 서비스 및 가맹점 추천
• 프롬프트 엔지니어링으로 에이전트 역할과 응답 흐름 제어

아키텍처와 구현

• 프론트엔드: TypeScript와 React, AWS Amplify 배포
• 백엔드: AWS Lambda Serverless 및 EC2를 활용한 STT 처리
• Supervisor Agent가 Worker Agent를 호출해 다중 에이전트 협업
• 텍스트-음성 변환은 AWS Polly 사용
• 효율적인 Knowledge Base 검색과 조건부 함수 호출로 최적화

STT 기능 구현 도전과 해결

• 음성 샘플레이트 문제 해결을 위한 리샘플링(16kHz) 적용
• 발화 종료 감지를 위해 서버 이벤트 기반 스트리밍 중단 구현
• 클라이언트에서는 react-use-websocket 라이브러리 활용

이외에도 개발 중 겪은 어려움과 팀원들의 경험이 담겨 있으며, 서비스 확장성과 사용자 경험 혁신을 목표로 설계되었습니다.