
고등학생도 이해하는 Transformer (Deep Learning) #4
3
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
고등학생도 이해하는 Transformer (Deep Learning) #4
이 게시물은 Transformer 모델과 관련된 4차원 벡터의 내적 계산에 대해 설명합니다.벡터 내적의 의미와 계산
- Basis Vector와 입력 벡터 간 내적은 유사도 및 영향도를 나타냅니다.
- 4차원 Basis Vector를 2차원 그래프로 시각화하여 이해를 돕습니다.
- 내적 값을 확률로 변환하는 방법으로 Softmax 함수가 소개됩니다.
주파수 변환과 DCT Basis Vector
- Discrete Cosine Transform (DCT) Basis Vector를 활용해 신호의 주파수 영역 변환을 시도해 봅니다.
- Basis Vector 번호가 높을수록 주파수가 높으며, 내적 값이 크면 해당 주파수 성분이 많음을 의미합니다.
- 영상 및 오디오 처리에 DCT가 활용되는 점을 설명합니다.