이젠 AI도 하이브리드 시대 - 카카오T On-Device AI 개발기

이 게시물은 외부 서비스 기업인 카카오모빌리티가 On-Device AI와 Cloud AI를 병행하는 하이브리드 AI 전략을 설계하고 실제 서비스에 적용한 경험을 공유합니다.

Android와 iOS On-Device AI 구현

• Android에서는 구글의 Gemini Nano를 활용해 On-Device AI를 구현하고, 학습 데이터 보완 및 프롬프트 최적화로 성능을 개선했습니다.
• iOS에서는 Core ML을 이용해 자체 ML 모델을 학습시키고, 특화된 Text Recognition 기능을 앱에 탑재했습니다.

하이브리드 AI 전략

• On-Device AI의 한계를 극복하기 위해 Cloud AI와 결합한 동적 프롬프트 구성 및 AICore 개념 도입으로 유연한 아키텍처를 구축했습니다.
• 두 AI 시스템을 동시에 활용해 응답 속도, 정확도, 비용 등을 고려한 최적의 결과를 선택하는 전략을 사용했습니다.

실제 적용 및 성과

• 카카오T 퀵 서비스에 AI 기반 주소 자동 입력 기능을 적용해 사용자 편의성과 서비스 효율성을 크게 향상시켰습니다.
• On-Device AI와 Cloud AI의 하이브리드 활용으로 안정성과 확장성을 확보하였으며, 향후 저전력 고성능 AI 구현을 기대합니다.