이상치
줄 서 있는 키 170센티미터 학생들 사이에 혼자 우뚝 서 있는 2미터 농구 선수처럼, 무리에서 홀로 튀는 데이터예요.
정의 이상치(Outlier)는 어떤 데이터 집합에서 대부분의 다른 값들과 현저하게 동떨어져 있는 극단적인 관측값을 말해요. 전체 데이터가 모여 있는 군집이나 일반적인 패턴에서 홀로 멀리 벗어나 있는 특별한 숫자예요.
왜 튀는 값 하나가 통계를 흔들까요?
우리 반 학생 10명의 하루 용돈을 조사했다고 상상해 볼게요. 9명은 5천 원 안팎을 받는데, 한 친구가 100만 원을 받는다고 적었어요. 이 10명의 평균 용돈을 구하면 한 사람당 무려 10만 원이 넘어가요. 9명에게는 전혀 맞지 않는 엉뚱한 숫자가 나오는 셈이죠.
이처럼 다른 자료들과 멀리 떨어져 혼자 유독 크거나 작은 값을 이상치라고 불러요. 이상치는 평균값을 심하게 왜곡하는 성질이 있어요. 극단적인 값 하나가 전체 합계를 크게 끌어올리거나 끌어내리기 때문이에요. 그래서 통계 자료를 볼 때는 평균 하나만 맹신해서는 안 돼요.
만약 이상치 때문에 평균이 심하게 흔들린다면 다른 기준을 함께 써야 해요. 모든 숫자를 크기순으로 나열했을 때 딱 한가운데에 오는 값인 중앙값을 확인하는 거예요. 위 사례에서 중앙값은 여전히 5천 원 근처에 머물기 때문에, 이상치에 휘둘리지 않고 대세를 정확하게 보여줘요.
이처럼 데이터의 흩어짐을 제대로 보지 않고 평균만 믿으면 현실을 크게 오해할 수 있어요. 단 한 개의 튀는 데이터가 전체 집단의 성격을 완전히 덮어버릴 수 있기 때문이에요.
어디서부터 이상치로 봐야 할까요?
어떤 값이 단순히 조금 큰 값인지, 아니면 통계에서 특별히 다뤄야 할 이상치인지 구분하는 명확한 기준이 필요해요. 통계학자들은 눈대중 대신 상자 그림(박스 플롯)이나 사분위수 같은 객관적인 수학 도구를 활용해요.
자료를 크기순으로 나열한 뒤, 가운데 50퍼센트 데이터가 모여 있는 구간의 폭을 계산해요. 이 폭을 기준으로 위아래에 보이지 않는 울타리를 설정하죠. 이 울타리 바깥으로 벗어난 데이터를 이상치 후보로 공식 판정해요. 주관적인 느낌이 아니라 엄격한 수학적 잣대로 걸러내는 방식이에요.
종 모양을 이루는 정규분포 데이터에서는 표준편차라는 도구를 써요. 평균을 중심으로 데이터가 퍼진 정도를 잰 뒤, 평균에서 표준편차의 3배 이상 멀어진 값을 이상치로 의심해요. 이 규칙에 따르면 전체 데이터 중 약 99.7퍼센트 바깥에 놓인 극소수의 값만 이상치로 걸러져요.
이렇게 체계적인 기준을 세워 두면 수백만 개의 방대한 데이터 속에서도 컴퓨터가 이상치를 자동으로 찾아낼 수 있어요. 인공지능이 방대한 자료를 학습하기 전에 불필요한 노이즈를 걸러내는 데도 이 과정이 꼭 쓰여요.
지워야 할 실수일까요, 위대한 단서일까요?
조금 더 정확히 말하면, 이상치가 발견되었다고 해서 무조건 데이터를 지워버리거나 무시하면 안 돼요. 이상치가 생겨난 원인이 상황에 따라 전혀 다르기 때문이에요.
첫 번째 원인은 단순한 측정 실수나 입력 오류예요. 몸무게를 적는 칸에 60킬로그램 대신 자판을 잘못 눌러 600킬로그램을 입력했다면, 이 값은 분석을 방해하는 명백한 오류예요. 이런 이상치는 데이터 정제 작업을 거쳐 올바르게 수정하거나 통계 분석에서 제외해야 해요.
하지만 두 번째 원인은 실제로 일어난 매우 드물고 특별한 사건일 수 있어요. 1980년대 남극 상공의 오존층 파괴는 컴퓨터가 단순 오류로 여겨 걸러내던 이상치 데이터를 과학자들이 다시 검토하면서 밝혀졌어요. 금융 사기 결제나 희귀 질환 환자의 약물 반응처럼, 이상치는 새로운 발견을 이끄는 결정적 단서가 되기도 해요.
결국 이상치는 데이터를 바라보는 분석가의 통찰력을 시험하는 시험대와 같아요. 무작정 지우기 전에 그 숫자가 왜 태어났는지 원인을 파고드는 태도가 훌륭한 과학적 탐구의 시작이에요.
🤔 흔한 오해
이상치는 무조건 잘못 측정된 오류이므로 즉시 삭제해야 한다.
단순 오타나 기계 오류일 수도 있지만, 남극 오존홀 발견이나 금융 이상 거래 탐지처럼 매우 중요하고 실제 발생한 핵심 사건일 수 있어요.
🧺 일상에서 만나요
이상치는 전체 데이터의 일반적인 흐름에서 홀로 벗어난 값으로, 평균을 왜곡하기도 하지만 새로운 발견의 귀중한 단서가 되기도 해요.