벤치마크 데이터셋

전국에서 달리기 실력을 겨룰 때, 각자 동네 뒷산이나 모래사장에서 따로 뛴 기록을 비교하면 누가 더 빠른지 알 수 없어요. 바람의 세기도, 바닥의 푹신함도 전부 다르기 때문이죠. 모든 선수가 똑같은 규격의 400미터 우레탄 트랙 위에서 달려야 진짜 실력을 가릴 수 있어요.

인공지능 연구도 똑같아요. A 회사는 쉬운 만화 그림으로 테스트하고, B 회사는 복잡한 흑백 사진으로 테스트한 뒤 서로 자기 모델이 똑똑하다고 우기면 비교할 방법이 없어요.

그래서 연구자들은 수많은 이미지나 문장을 모아 널리 쓰이는 공통 시험지를 만들었어요. 모든 AI 모델에게 똑같은 문제를 풀게 한 뒤, 정답률을 측정해 순위를 매기는 것이죠. 약 1,400만 장의 사진을 모은 '이미지넷(ImageNet)', 그리고 이를 바탕으로 열려 딥러닝 붐의 계기가 된 이미지 인식 대회가 대표적인 예시예요.

벤치마크 데이터셋은 단순한 데이터 모음이 아니에요. 대부분 입력값(문제)과 함께 채점 기준이 되는 표준 정답(레이블)이 짝을 이루고 있어요. 코딩 벤치마크처럼 AI가 만든 답이 테스트를 통과하는지로 채점하는 방식도 있고, 정답에도 가끔 오류가 섞여 있을 수 있어요.

평가 방식도 엄격해요. AI가 평소에 공부할 때 보지 못한 새로운 문제들로만 구성된 별도의 시험용 데이터를 주고 채점해요. AI가 문제를 외워서 맞히는 꼼수를 부리지 못하게 하고, 낯선 상황에서도 잘 작동하는지 확인하기 위해서예요.

오늘날에는 분야별로 다양한 표준 벤치마크가 쓰여요. 57개 분야에 걸친 폭넓은 지식과 문제 해결력을 묻는 'MMLU', 프로그래밍 코딩 실력을 재는 'HumanEval' 등이 대표적이에요. 새로운 AI가 발표될 때마다 개발사들은 널리 쓰이는 벤치마크 점수표를 성적표처럼 공개하고 있어요. 다만 대개 개발사가 직접 측정해 발표하기 때문에, 평가 조건이 서로 다를 수 있어요.

만약 어떤 학생이 시험 문제를 미리 보고 답만 달달 외워 시험장에 들어간다면 어떨까요? 시험 점수는 100점이 나오겠지만 실제 응용력은 0점일 수 있어요.

인공지능에서도 똑같은 문제가 발생해요. 모델이 인터넷의 방대한 글을 학습하다가 우연히 벤치마크 시험지와 정답을 통째로 읽어버리는 데이터 오염(Data Contamination) 현상이 일어날 수 있거든요. 이러면 시험 점수가 실제 실력보다 부풀려져, 점수만으로는 모델이 처음 보는 문제를 얼마나 잘 푸는지 알기 어려워져요.

이 때문에 벤치마크 데이터셋은 끊임없이 진화해야 해요. AI의 실력이 올라갈수록 기존 시험지는 너무 쉬워져 변별력을 잃기 마련이에요. 연구자들은 더 복잡한 추론을 요구하는 새로운 고난도 벤치마크를 계속해서 만들어내고 있어요.