토큰
인공지능이 글을 읽고 쓸 때 쓰는 '글자 레고 블록'이에요.
정의 토큰(Token)은 인공지능 모델이 사람의 언어를 이해하고 처리하기 위해 글을 잘게 쪼갠 기본 조각 단위예요. 컴퓨터는 문장을 사람처럼 통째로 읽지 못하기 때문에, 문장을 토큰이라는 글자 조각으로 나눈 뒤 각각에 고유한 번호를 붙여 계산해요.
AI가 글을 씹어 삼키는 한 입 크기
긴 빵을 한 입에 다 먹을 수 없어서 칼로 썰어 먹듯이, 인공지능도 긴 문장을 한 번에 소화하지 못해요. 그래서 컴퓨터가 다루기 쉬운 적당한 크기로 문장을 잘게 자르는데, 이 잘린 조각 하나하나를 토큰이라고 불러요.
토큰은 무조건 단어 하나나 글자 하나와 일치하지 않아요. '사과'처럼 짧은 단어는 조각 하나가 되지만, '사과나무를'처럼 긴 단어는 '사과', '나무', '를'처럼 의미나 형태에 따라 여러 조각으로 쪼개지기도 해요.
영어와 한글의 쪼개지는 방식도 서로 달라요. 영어 단어는 알파벳 몇 개가 모여 하나의 토큰이 되는 경우가 많지만, 한글은 자음과 모음의 조합이 다양해서 한 글자가 여러 개의 토큰으로 쪼개지기도 해요.
결국 인공지능에게 토큰은 우리가 글을 읽을 때 낱말을 하나씩 눈으로 짚어 나가는 것과 비슷해요. 이렇게 문장을 적절한 조각으로 나누어 두어야 다음 분석과 생성 작업을 수월하게 진행할 수 있답니다.
글자 조각이 숫자로 변신하는 과정
인공지능은 사실 글자 자체의 의미를 직관적으로 이해하지 못하는 거대한 계산기에 불과해요. 그래서 글자를 쪼개서 토큰으로 만든 다음에는, 커다란 단어 사전을 펼쳐 각 조각에 고유한 번호표(ID 숫자)를 붙여요.
예를 들어 '사과'라는 토큰에 '4201'이라는 번호가 매겨져 있다면, 인공지능은 '사과'라는 글씨 대신 '4201'이라는 숫자를 넘겨받아 복잡한 수학 연산을 시작해요. 이처럼 문장을 토큰으로 쪼개고 숫자로 바꾸는 전체 과정을 '토큰화'라고 불러요.
인공지능이 답변 글을 써서 우리에게 보여줄 때도 원리는 완전히 같아요. 다음에 올 가장 알맞은 번호를 수학적으로 계산해 찾아낸 뒤, 그 번호에 해당하는 글자 조각을 다시 이어 붙여 완성된 문장으로 만들어 내는 거예요.
우리가 챗봇과 대화를 나누는 짧은 순간에도, 컴퓨터 내부에서는 수많은 글자 조각이 숫자로 바뀌었다가 다시 글자로 조립되는 마법 같은 과정이 쉼 없이 일어나고 있어요.
조금 더 정확히 말하면
조금 더 정확히 말하면, 토큰은 인공지능 서비스의 요금 계산서이자 두뇌 기억력의 한계를 정하는 기준이에요. 챗봇을 만들거나 이용할 때 지불하는 비용은 단순히 글자 수가 아니라 입력하고 출력한 토큰의 총개수에 따라 정해지거든요.
또한 인공지능 모델이 한 번에 기억하고 참고할 수 있는 대화의 길이도 토큰 수로 엄격하게 제한돼요. 이를 '문맥 창'이라고 부르는데, 책 여러 권 분량의 토큰을 한 번에 읽을 수 있는 모델이 있는가 하면, 몇 쪽만 읽어도 앞서 나눈 대화 내용을 잊어버리는 모델도 있어요.
따라서 토큰을 효율적으로 잘게 나누는 기술은 인공지능의 작업 속도를 높이고 운영 비용을 줄이는 데 핵심 역할을 해요. 같은 의미의 문장이라도 더 적은 수의 토큰으로 표현할수록 인공지능은 훨씬 더 빠르고 저렴하게 작동할 수 있답니다.
최신 인공지능 연구들이 다양한 언어를 더 적은 토큰으로 압축해 처리하는 알고리즘을 개발하는 데 집중하는 이유도 바로 여기에 있어요.
🤔 흔한 오해
1개 토큰은 정확히 1개 단어나 1글자와 같다.
토큰은 단어보다 작을 수도, 클 수도 있어요. 영어 단어 하나가 여러 토큰이 되기도 하고, 한글은 글자 하나가 2~3개 이상의 토큰으로 쪼개지기도 해요.
🧺 일상에서 만나요
토큰은 인공지능이 글을 계산하고 이해하기 위해 잘게 쪼갠 기본 글자 조각 단위예요.