음성 합성

레고 블록 조립에서 진짜 사람 목소리로

예전 내비게이션이나 지하철 안내 방송에서 나오던 딱딱하고 어색한 로봇 목소리를 기억하시나요? 과거의 음성 합성은 전문 성우가 스튜디오에서 미리 녹음한 수만 개의 글자 조각을 필요한 순간마다 이어 붙이는 방식이었어요. 녹음된 음절 조각을 레고 블록처럼 끼워 맞추다 보니, 글자와 글자 사이의 이음새가 뚝뚝 끊기고 어색한 느낌을 지울 수 없었죠.

하지만 오늘날의 음성 합성은 인공지능 딥러닝(인간 뇌를 모방한 인공신경망 학습) 기술을 만나 완전히 새롭게 진화했어요. AI 모델은 수백 시간 분량의 사람 목소리 녹음 데이터를 들으며 발음 규칙뿐 아니라 숨을 들이쉬는 찰나의 타이밍, 문장의 감정선까지 통째로 학습해요.

그 결과 잘게 쪼갠 소리 조각을 억지로 이어 붙이지 않고도, 문장의 전체 맥락에 어울리는 매끄럽고 자연스러운 말소리를 인공지능이 스스로 백지 위에 그리듯 처음부터 직접 만들어낼 수 있게 되었어요.

이러한 발전 덕분에 요즘은 사람이 직접 낭독한 오디오북인지, 아니면 컴퓨터가 텍스트를 읽어준 것인지 귀로 듣고는 쉽게 구별하기 힘들 만큼 소리가 자연스러워졌답니다.

글자가 소리로 바뀌는 3단계 파이프라인

컴퓨터가 글자를 목소리로 바꾸는 과정은 사람이 책을 소리 내어 낭독하는 과정과 무척 닮았어요. 첫 단계는 텍스트 분석이에요. 화면 속 글을 읽을 때 '눈'이라는 글자가 하늘에서 내리는 눈인지 사람의 눈인지 구별하고, 쉼표나 물음표의 위치를 확인하여 올바른 발음 기호와 띄어쓰기 규칙을 정리해요.

두 번째 단계는 음향 특징 신호 설계예요. 인공지능은 앞서 분석한 발음 정보를 바탕으로 소리의 높낮이(피치), 말하는 빠르기, 강약과 억양 정보를 담은 일종의 '소리 악보'인 멜 스펙트로그램을 생성해요. 이 단계에서 문장의 분위기와 감정이 결정돼요.

마지막 세 번째 단계에서는 보코더(소리 파형 생성기)라는 특별한 엔진이 활약해요. 보코더는 앞에서 만들어진 소리 악보 데이터를 받아 실제 스피커를 물리적으로 떨리게 만드는 디지털 음성 신호로 변환하여 우리 귀에 생생한 소리를 들려줘요.

이 세 단계가 컴퓨터 안에서 눈 깜짝할 사이에 연속으로 이루어지기 때문에, 우리가 스마트폰 화면의 글자를 누르는 즉시 끊김 없이 부드러운 목소리를 실시간으로 들을 수 있는 것이에요.

조금 더 정확히 말하면

오늘날의 최신 음성 합성은 단순히 적힌 글자를 평범하게 소리로 변환하는 기초적인 기능에 머무르지 않아요. 특정 인물이 말한 몇 초 분량의 짧은 녹음 파일만 주어져도, 그 사람 특유의 음색과 사투리 억양까지 똑같이 흉내 내는 '음성 복제' 기술로 진화했어요.

또한 상황과 맥락에 맞추어 기쁨, 슬픔, 화남 같은 감정 상태를 자유롭게 조절할 수 있고, 나이나 성별뿐만 아니라 속삭이거나 크게 외치는 발성 스타일까지 손쉽게 바꿀 수 있어요. 이제는 콘텐츠 제작 현장에서도 사람이 직접 녹음하는 대신 인공지능 성우를 폭넓게 활용하고 있죠.

하지만 기술이 너무 정교해진 탓에 다른 사람의 목소리를 허락 없이 흉내 내어 악용하는 범죄의 위험도 함께 커졌어요. 그래서 이것이 진짜 사람 목소리인지 AI가 합성한 소리인지 구별해내는 기술과 함께, 위조를 막는 인공지능 음성 워터마크 같은 안전장치도 활발하게 연구되고 있어요.