임베딩

체육 시간에 반 친구들을 운동장에 세우는 놀이를 한다고 해 볼게요. 규칙은 하나예요. 좋아하는 것이 비슷한 사람끼리 가까이 서기. 축구를 좋아하는 아이들은 한쪽에 모이고, 그림 그리는 아이들은 반대쪽에 모여요.

자리 배치가 끝나면 재미있는 일이 생겨요. 누가 누구와 비슷한지 물어보지 않아도, 두 사람 사이의 거리만 재면 알 수 있거든요. 이름을 몰라도 위치만으로 관계를 읽을 수 있어요.

컴퓨터에게 단어를 알려 줄 때도 이 놀이를 해요. 컴퓨터는 '사과'라는 글자의 뜻을 알지 못해요. 그렇다고 사과에 1번, 사자에 2번처럼 번호만 붙이면 곤란해요. 1번과 2번이 이웃이라는 사실이 두 단어의 뜻과 아무 상관이 없으니까요.

그래서 단어마다 운동장 위의 자리에 해당하는 숫자 묶음을 줘요. 이렇게 정해 준 좌표를 임베딩이라고 불러요.

운동장 자리 배치를 잘하면 거리 말고 방향도 의미를 갖게 돼요. '남자'가 서 있는 자리에서 '왕'이 서 있는 자리로 가는 방향을 화살표로 그려 볼게요. 그다음 '여자'의 자리에서 같은 방향, 같은 길이로 걸어가 보는 거예요.

그러면 도착한 자리 근처에 '여왕'이 서 있어요. '왕에서 남자를 빼고 여자를 더하면 여왕'이라는 이야기가 나온 이유예요. 화살표가 신분의 높음을 담고 있어서 생기는 일이에요.

덕분에 컴퓨터는 뜻을 몰라도 꽤 많은 일을 해내요. 검색창에 '저렴한 노트북'이라고 치면 '값싼 노트북'을 함께 찾아 줘요. 두 표현의 자리가 가까이 있기 때문이에요.

추천 서비스도 같은 원리로 움직여요. 내가 본 영상의 자리 근처에 있는 다른 영상을 골라 보여 주는 거죠. 가까운 자리를 찾는 계산이 곧 비슷한 것 찾기가 돼요.

이 자리를 사람이 하나하나 정해 주지는 않아요. 컴퓨터가 엄청난 양의 문장을 읽으면서 스스로 배치를 다듬어요. 주변에 오는 단어(문맥)가 비슷한 단어끼리 조금씩 가까이 당기는 일을 수없이 되풀이하는 방식이에요. '저렴한'과 '값싼'은 한 문장에 같이 나오는 일은 드물어도, 둘 다 '노트북', '가격' 같은 말 곁에 자주 오기 때문에 가까워져요.

운동장도 우리가 상상하는 것보다 훨씬 넓어요. 가로세로 두 방향이 아니라 수백에서 수천 개의 방향으로 뻗은 공간이거든요. 그래서 좌표를 이루는 숫자도 수백~수천 개예요. 대신 그 숫자 하나하나에 '단맛'이나 '크기' 같은 이름표가 붙어 있지는 않아요.

계산이 늘 딱 떨어지는 것도 아니에요. 화살표를 따라가면 여왕 근처에 도착할 뿐, 정답 자리에 정확히 서지는 못해요. 통하지 않는 단어 짝도 많고요.

읽은 문장에 치우침이 있으면 자리 배치도 함께 기울어요. 사람들이 쓴 글 속 편견이 좌표에 스며드는 셈이라, 개발자들이 이 점을 살펴 고치고 있어요.