트랜스포머 모델

교실에서 하는 귓속말 전달 놀이를 떠올려 봐요. 맨 앞 친구가 들은 말을 옆으로, 또 그 옆으로 넘겨요. 뒤로 갈수록 처음 말이 흐려지고, 마지막 친구에게 닿기까지 시간도 오래 걸려요.

컴퓨터가 문장을 읽던 예전 방식이 이 놀이와 닮았어요. 단어를 앞에서부터 하나씩 차례로 넘기며 읽었거든요. 그래서 문장이 길어지면 앞쪽 내용이 뒤로 갈수록 희미해지곤 했어요.

트랜스포머 모델은 아예 자리 배치를 바꿔 버렸어요. 줄을 서서 귓속말을 넘기는 대신, 모든 단어가 동시에 서로를 마주 보게 만들었어요.

이렇게 앉으면 문장 맨 끝 단어도 맨 앞 단어를 곧바로 볼 수 있어요. 거리가 멀어도 예전 방식보다 정보가 훨씬 덜 흐려지고, 여럿이 동시에 계산을 나눠 맡을 수 있어요. 다만 입력이 아주 길어지면 일부 내용을 잘 활용하지 못하기도 해요. 또 대화형 인공지능처럼 글을 이어 쓰는 모델은 각 단어가 자기보다 앞에 있는 단어만 보도록 뒤쪽을 가려 두기도 해요.

그냥 마주 보기만 해서는 부족해요. '고양이가 생선을 물고 달아났고, 그것은 아주 빨랐다'라는 문장을 볼게요. 여기서 '그것'은 누구를 가리킬까요?

트랜스포머 안에서는 단어마다 다른 단어를 얼마나 볼지 점수를 매겨요. '그것'은 '고양이'에게 높은 점수를 주고, '생선'에게는 낮은 점수를 줘요. 이렇게 점수를 매겨 볼 곳을 고르는 방식을 어텐션, 곧 집중이라고 불러요.

이 점수는 문장 전체에 대해 한꺼번에 계산돼요. 앞사람 차례를 기다릴 필요가 없으니 그래픽카드처럼 많은 계산을 한꺼번에 처리하는 장치를 훨씬 효율적으로 쓸 수 있어요. 아주 많은 글로 크게 학습시키는 일이 가능해진 이유가 여기에 있어요.

오늘날 번역기, 대화형 인공지능, 그림을 만들어 주는 도구까지 이 자리 배치 위에 올라서 있어요.

교실 이야기로 다시 돌아와 볼게요. 학생들이 서로를 마주 보려면 먼저 공통의 말이 있어야 해요. 컴퓨터는 글자를 그대로 다루지 못하고 숫자만 다룰 수 있어요.

그래서 단어를 먼저 긴 숫자 목록으로 바꿔 놓아요. 이 숫자 목록을 임베딩이라고 불러요. 뜻이 비슷한 단어끼리는 숫자도 가까워지도록 만들어져 있어요.

그런데 모두가 동시에 마주 보면 누가 앞자리에 앉았는지 알 수 없어요. 그래서 단어마다 자리 번호를 함께 붙여 순서 정보를 따로 챙겨요. '학교 앞 가게'와 '가게 앞 학교'처럼 같은 단어가 순서만 바뀌어 뜻이 달라지는 말을 구별하려면 이 번호가 필요해요.

다만 이 구조가 하는 일은 뜻을 느끼는 것이 아니라 단어들 사이의 관계를 숫자로 계산하는 일이에요. 그래서 사람처럼 이해한다고 보기는 어렵고, 한 번에 마주 볼 수 있는 문장 길이에도 한계가 있어요.