셀프 어텐션은 어떻게 작동하는 걸까요?

Question

셀프 어텐션은 트랜스포머의 핵심 개념입니다. 입력 시퀀스 내에서 각 단어가 다른 단어와 얼마나 관련이 있는지 계산하는 과정인데, 이를 수학적으로 어떻게 표현하고 계산하는 걸까요?

Answer 1

안녕하세요. 종종순진무구한오이김치입니다!!

셀프 어텐션은 문장 내 단어들 사이의 관계를 이해하는 방식인데요. 예를 들어 "고양이가 생선을 먹었다. 왜냐하면 그것이 배고팠기 때문이다"라는 문장에서 '그것'이 '생선'이 아닌 '고양이'를 가리킨다는 걸 파악할 수 있어요.

이런 관계를 파악하기 위해서 각 단어마다 Query(질문), Key(열쇠), Value(값)라는 세 가지 벡터를 만들어요. 마치 호텔에서 방을 찾을 때처럼요. Query는 "어느 방인가요?"라는 질문이고, Key는 방 번호, Value는 실제 방 안의 내용물이라고 생각하시면 됩니다. 이렇게 만든 벡터들로 단어들 사이의 관계를 계산하면 문장의 의미를 더 정확하게 이해할 수 있답니다.

답변이 참고가 되셨길 바랍니다~!! 감사합니다~!! 좋은 하루 되세요.