AI 개발을 위해 꼭 필요한 ‘GPU’란? 개념부터 서비스 추천까지 완벽 정리!
GPU의 기본 개념과 CPU와의 차이, AI에서 중요한 이유를 정리한 글입니다. GPU 서버를 효율적으로 쓰는 서버호스팅과 코로케이션 서비스도 함께 소개했습니다.
#GPU#ML
2800
필터 1
고등학생도 이해하는 Transformer (Deep Learning) #1
내적을 벡터의 유사도와 투영으로 설명하며 딥러닝 이해의 기초 개념으로 풀어냈습니다. 코사인 값과 그림자 비유를 통해 Transformer와 GPU 연산의 직관을 제시했습니다.
#Transformer#ML
2600
고성능 GPU 클러스터 도입기 #1: 요리하라고 해서 왔는데 프라이팬이 없어요
토스증권이 투자 분석용 LLM을 위해 자체 고성능 GPU 클러스터를 도입한 배경을 설명했습니다. 개인정보 보호, 비용 효율, 실시간성 제약과 GPU 운용상의 유의점을 함께 짚었습니다.
#LLM#GPU
2500
Data Parallelism in Machine Learning Training
대규모 머신러닝 학습에서 데이터 병렬성과 동기/비동기 업데이트 방식을 설명했습니다. 또한 Ring-AllReduce로 통신 병목과 상태 불일치 문제를 완화하는 방법을 소개했습니다.
#ML#distributed training
1100
Kurly만의 MLOps 구축하기 - 초석 다지기
컬리의 MLOps 구축 초기에 GPU 노드 자동화와 Karpenter 도입 과정을 소개했습니다. NVDP, affinity, consolidation 이슈까지 포함해 운영 포인트를 정리했습니다.
#MLOps#Kubernetes
3200
.png)
온프레미스 쿠버네티스에서 NAS, GPU 사용하기 (with RKE2, NFS, gpu-operator)
온프레미스 쿠버네티스에서 NAS와 GPU를 함께 쓰는 구성을 다뤘습니다. RKE2, NFS, gpu-operator를 활용한 클러스터 구축 맥락을 소개했습니다.
#Kubernetes#Docker
3200