SNOW의 Automatic Sharding 도입기
SNOW의 Automatic Sharding이 수천 개 서비스가 GPU 자원을 효율적으로 공유하도록 돕는 방식을 소개합니다. 모델 로딩 오버헤드를 줄이고, 결과를 인프라에 자동 반영하는 배포 전략을 공유합니다.
SNOW의 Automatic Sharding이 수천 개 서비스가 GPU 자원을 효율적으로 공유하도록 돕는 방식을 소개합니다. 모델 로딩 오버헤드를 줄이고, 결과를 인프라에 자동 반영하는 배포 전략을 공유합니다.
GitOps로 개인용 OpenStack 샌드박스 qcow2 이미지를 만들고 ArgoCD·Flux가 Git 변경을 감지해 자동으로 업데이트합니다. 빌드 타임 초기 배포 후 이후 변경은 git push만으로 values/설정 등을 전파해 10분 내 Ready를 목표로 했습니다.
미리캔버스 모노레포에서 lint/type-check/test를 아티팩트 요구사항별로 분리해 CI를 병렬 처리합니다. build-time과 run-time 통합(Manifest+Module Federation)으로 독립 배포를 구현하고 fan-in/fan-out과 캐시 무효화를 관찰해 운영합니다.
모노레포를 쓰더라도 common/shared의 남용으로 변경 전파가 커지며 모놀리스처럼 결합될 수 있음을 짚습니다. 변화율 기반 계층화와 단방향·계층 간 참조 금지, Public API 강제로 의존성을 통제하는 방식을 제안합니다.
도구와 자동화는 문서 초안 부담을 줄이지만, 무엇을 남기고 누가 책임질지 기준이 없으면 신뢰가 무너진다는 점을 강조했습니다. 토스 팀의 지식 거버넌스 기준과 Knowledge Committee 운영으로 문서를 계속 믿고 쓰게 만드는 방식을 제안합니다.
토스는 TW의 암묵지와 테크니컬 라이팅 원칙을 AI Skill과 템플릿으로 정리해 문서 작성·리뷰를 자동화했습니다. 메신저(토독이)와 GitHub Actions에 연동해 PR 시 리뷰 코멘트가 붙도록 만들고, 이후 지식 순환 설계를 이어갑니다.
구 LINE과 구 Yahoo Japan의 HDFS를 1EB 규모에서 운영하며 NameNode 부하와 지연 병목에 대응했습니다. 조직 통합 후에는 권한 모델을 단계적으로 맞추고 DistCP로 직접 전송하되 Cross-Realm 인증과 네트워크 통제로 연계를 구현했습니다.
유전 알고리즘(GEPA)과 DSPy를 활용해 프롬프트 튜닝을 자동화하고, 수일~수주 걸리던 작업을 약 1시간으로 단축했습니다. Yahoo! JAPAN Search의 건강·의료 쿼리에 적용해 요건 준수와 가독성을 동시에 개선했다고 밝혔습니다.
es-toolkit은 lodash의 불필요한 로직을 걷어내고 현대 브라우저에 최적화해 성능과 번들 크기를 크게 개선했습니다. compat 계층으로 마이그레이션 장벽을 낮춰 오픈소스와 서비스 전반에 확산되며 다운로드가 주간 2천만 회를 넘겼습니다.
동원F&B는 AgentCore와 OpenSearch 하이브리드 검색을 결합해 초개인화 AI 쇼핑 어시스턴트를 구축했습니다. 토큰 97% 절감, TTFT 평균 2.58초 달성, CS 단순문의 23% 감소 성과를 공개합니다.