고등학생도 이해하는 Transformer (Deep Learning) #4

이 게시물은 Transformer 모델과 관련된 4차원 벡터의 내적 계산에 대해 설명합니다.

벡터 내적의 의미와 계산

• Basis Vector와 입력 벡터 간 내적은 유사도 및 영향도를 나타냅니다.
• 4차원 Basis Vector를 2차원 그래프로 시각화하여 이해를 돕습니다.
• 내적 값을 확률로 변환하는 방법으로 Softmax 함수가 소개됩니다.

주파수 변환과 DCT Basis Vector

• Discrete Cosine Transform (DCT) Basis Vector를 활용해 신호의 주파수 영역 변환을 시도해 봅니다.
• Basis Vector 번호가 높을수록 주파수가 높으며, 내적 값이 크면 해당 주파수 성분이 많음을 의미합니다.
• 영상 및 오디오 처리에 DCT가 활용되는 점을 설명합니다.

숙제 제안

다양한 입력 벡터를 만들어 어느 Basis Vector와 내적 값이 클지 예측하고 계산해보는 연습을 권장하며, 8차원 이상의 벡터 내적도 도전해보도록 합니다.