
[#1 LLM Tutorial With RAG] 나만의 Chat GPT를 만들어봅시다!
X
새로운 기술 블로그가 추가되었어요

X


생성 AI와 LLM이 자동차에 들어오며 차량 상태 안내, 대화형 어시스턴트, 경로 추천 같은 개인화 기능이 확장되고 있습니다. 또한 비전과 LLM 결합으로 자율주행과 실내 인식의 정확도를 높일 가능성을 보여줍니다.
![[에이닷 AI숏폼 서비스] 지금은? 숏폼시대!](https://devocean.sk.com/thumnail/2024/9/30/8af8f13878021b5a756fb2a4b3ff1d16f0eae51180a341c3cdb7ce4fb448e940.png)

스포츠 중계 영상을 자동으로 숏폼화하는 에이닷 AI숏폼 서비스의 구성과 운영 방식을 소개했습니다. AWS 워크플로우, AI 모델, 모니터링, 비용 최적화로 상용 서비스를 확장한 사례를 설명했습니다.


AWS와 Azure에서 RAG를 구현하는 방식과 구성 요소를 비교해 정리했습니다. 각 플랫폼의 강점이 달라 프로젝트 요구사항에 맞춰 선택할 필요가 있습니다.


쿠팡이 LLM을 활용해 이미지·텍스트 이해, 약한 라벨 생성, 상품 분류를 개선하는 사례를 소개했습니다. 또한 CJK 언어 특성과 ICL·RAG·SFT·CPT, Kubernetes 기반 훈련 흐름을 함께 설명했습니다.
고성능 GPU 클러스터에서 발생하는 통신 비용과 병목 구간을 하드웨어 관점에서 정리했습니다. 스토리지, 서버 내 GPU, 서버 간 통신에 맞춰 NVMe SSD, NVLink, NVSwitch, InfiniBand 선택을 제안했습니다.
무신사 2.0에서 시나리오 기반 설명 가능한 추천 시스템을 구축한 사례를 소개했습니다. 장기·단기 행동을 함께 반영해 개인화와 다양성을 높이고, A/B 테스트와 모니터링으로 운영했습니다.


HTML 번역 전에 unified와 rehype로 속성을 분리해 LLM 입력을 최소화했습니다. 그 결과 토큰을 약 40% 줄이고 번역 오류 위험도 낮췄습니다.


RoPE 기반 LLM의 context length를 늘리는 Position Interpolation 방법을 소개했습니다. 제한 범위를 넘어갈 때의 attention score 폭발을 줄이고, 적은 finetuning으로 성능을 유지한 결과를 다뤘습니다.


LLM 기반 대화형 애플리케이션을 위한 자체 프레임워크 Aide 개발 과정을 소개했습니다. 멀티턴 대화와 Workflow 추상화로 복잡성을 줄이고 확장성을 높인 점을 정리했습니다.


Responsible AI의 개념과 핵심 원칙을 정리하고, ISO 42001과 주요 테크 기업의 적용 사례를 소개했습니다. AI의 윤리성과 투명성을 높이기 위한 관리 체계의 중요성을 설명했습니다.


LLM 발전으로 검색 서비스가 어떻게 바뀌고 있는지 주요 서비스 사례를 중심으로 정리했습니다. 에이닷 멀티 LLM 에이전트에서 Perplexity와 다른 모델을 함께 쓰는 방식도 소개했습니다.