트랜스포머의 한계점은 무엇일까요?

Question

트랜스포머는 강력한 모델이지만, 여전히 해결해야 할 과제들이 있습니다. 예를 들어, 계산량이 너무 만ㄶ아서 학습 시간이 오래 걸린다거나, 특정 유형의 데이터에 취약하다는 등의 한계점이 있을텐데요, 이 외에도 또 어떠한 한계점이 있을까요?

Answer 1

안녕하세요. 종종순진무구한오이김치입니다!!

트랜스포머 모델의 주요 한계점에 대해 말씀드릴게요. 가장 큰 문제는 컴퓨터 자원이 정말 많이 필요하다는 거예요. 예를 들어 GPT-3 모델은 무려 10,000대의 고성능 GPU로 15일 동안 학습했다고 하네요. 일반 연구자들은 이런 비용을 감당하기 어려울 수밖에 없죠.

또 하나 재미있는 점은 트랜스포머가 함수 합성이나 계산과 같은 간단한 작업도 잘 못한다는 거예요. 예를 들어 "쇼팽의 아버지의 생일"처럼 두 단계를 거쳐 답을 찾아야 하는 질문에 취약하다고 해요. 마치 우리가 수학 문제를 풀 때 중간 과정을 건너뛰면 실수하는 것처럼요.

답변이 참고가 되셨길 바랍니다~!! 감사합니다~!! 좋은 하루 되세요.