고등학생도 이해하는 Transformer: 내적의 의미

이 게시물은 딥러닝과 Transformer 모델 이해의 기초가 되는 벡터 내적(Inner Product)의 개념을 고등학생도 이해할 수 있도록 쉽게 설명합니다.

내적의 기본 개념

• 내적은 두 벡터 성분을 곱해 더한 스칼라 값이며, 벡터 방향이 같을 때 최대값, 직각일 때 0, 반대 방향일 때 음수 값을 가짐
• Normalized Vector 기준으로 내적은 두 벡터 간의 코사인 유사도(Cosθ)와 같음
• 내적은 두 벡터가 얼마나 유사하거나 영향을 주는지를 나타내는 연산으로 이해하는 것이 중요

내적과 그래픽스/GPU 연산

• GPU는 3D 객체 회전, 반사, 변환 시 내적 연산을 활용하며, 고차원 벡터 연산인 딥러닝에 내적 개념이 필수적임

내적의 직관적 이해

• Projection(투영) 개념을 통해 한 벡터가 다른 벡터 방향에 미치는 영향을 시각적으로 이해 가능
• 내적은 두 벡터 간의 유사성, 닮음 정도를 나타내는 값으로 기억하는 것이 중요