멀티모달 AI

책만 읽어서 세상을 배운 친구에게 빨간 사과 사진을 보여주면 어떨까요? 글로 적힌 설명은 줄줄 읊겠지만, 눈앞에 있는 사과의 생생한 붉은빛이나 달콤한 향기는 곧바로 떠올리기 어려울 거예요. 초기 대화형 인공지능도 딱 이런 모습이었어요. 텍스트라는 좁은 창문 하나로만 세상을 바라보고 있었죠.

우리가 일상에서 정보를 주고받는 감각적 통로를 '모달리티(양식)'라고 불러요. 눈으로 보는 글자와 사진, 귀로 듣는 목소리와 소음, 손으로 만지는 감촉이 모두 각기 다른 모달리티예요. '멀티'라는 단어가 붙은 만큼 멀티모달은 '여러 가지 감각 통로를 함께 쓴다'는 의미를 담고 있어요.

즉, 여러 감각 통로를 하나로 엮는 기술이 바로 멀티모달 AI예요. 이제 인공지능은 글자로 쓴 질문을 읽는 데서 멈추지 않아요. 냉장고 안을 찍은 사진을 보고 바로 저녁 메뉴를 추천하거나, 사람의 떨리는 목소리를 듣고 감정 상태를 어느 정도 짐작하기도 해요.

이렇게 감각이 늘어나면 컴퓨터가 세상을 이해하는 깊이도 크게 달라져요. 글자만으로는 표현하기 힘든 미묘한 표정 변화나 주변 분위기까지 함께 살필 수 있어서 더 쓸모 있는 비서 역할을 해낼 수 있답니다.

사진과 글자는 컴퓨터 입장에서 완전히 다른 형태의 데이터예요. 사진은 수많은 색깔 점(픽셀)들의 거대한 격자판이고, 글자는 알파벳이나 한글 낱자가 나열된 기호의 집합이죠. 소리 역시 시간에 따라 오르내리는 파동 데이터예요. 성질이 전혀 다른 이 정보들을 컴퓨터는 어떻게 하나로 엮어낼까요?

비밀은 서로 다른 정보를 컴퓨터가 다루기 쉬운 '숫자 좌표'로 번역하는 데 있어요. 이를 인공지능 분야에서는 임베딩(정보를 다차원 숫자로 바꾸는 과정)이라고 불러요. 인공지능은 수많은 학습을 거치면서 빨간 사과 사진과 '사과'라는 단어를 같은 의미를 가진 하나의 좌표 공간에 나란히 배치해요.

덕분에 사용자가 스마트폰으로 사진을 찍으며 '이게 뭐야?'라고 짧게 물어도 자연스러운 대화가 성립해요. 사진 속 물체의 숫자 좌표와 질문의 숫자 좌표를 순식간에 연결해서 '탐스럽게 익은 빨간 사과예요'라는 대답을 척척 내놓게 되는 것이죠.

글자와 그림뿐 아니라 소리 데이터도 똑같은 좌표계 위에 올려놓을 수 있어요. 강아지가 짖는 오디오 파일과 '멍멍'이라는 글자, 그리고 강아지 사진이 모두 같은 의미의 이웃 좌표로 모이면서 하나의 거대한 지식 그물이 완성돼요.

사진 속 글자를 읽어내는 기술이나 사람의 말을 받아적는 기술은 이전에도 있었어요. 사진을 인식하는 전용 인공지능과 글을 읽는 인공지능을 징검다리처럼 연결해 두는 것도 넓게 보면 멀티모달 시스템이에요. 실제로 초기 기술들은 이런 파이프라인(단계별 연결) 방식을 많이 사용했어요.

최근에는 이미지를 읽는 부품을 언어 모델에 연결한 뒤 함께 추가로 학습시키거나, 아예 개발 초기부터 글자, 이미지, 오디오 데이터를 한 덩어리로 묶어 처음부터 함께 배우도록 훈련한 통합형 모델도 나왔어요. 이런 모델은 중간 번역 단계 없이 여러 감각을 함께 다뤄요.

마치 우리가 신호등을 건널 때 자동차 경적 소리를 들으면서 동시에 다가오는 차량의 속도를 눈으로 보고 발걸음을 멈추는 것과 같아요. 사람은 귀로 들은 소리를 머릿속에서 글자로 바꾼 뒤에 눈으로 본 장면과 대조하지 않잖아요. 여러 감각을 한순간에 종합해 즉각적인 판단을 내리는 원리에 가까워요.

이러한 통합 덕분에 인공지능은 텍스트의 맥락과 이미지의 디테일을 동시에 고려한 고차원적인 추론을 해낼 수 있어요. 말투와 표정이 어긋나는 반어법 같은 상황을 알아채려는 연구도 이어지고 있어요.