연구 근거의 수준

물건을 고를 때 판매자의 홍보 글보다 여러 사람의 후기를 더 믿는 것처럼, 과학에서도 누가 말했는지보다 어떻게 알아냈는지를 먼저 따져요. 같은 결론이라도 그것을 얻은 방법에 따라 믿을 수 있는 정도가 달라요.

흔히 그리는 피라미드는 이런 순서예요. 맨 아래에는 전문가 한 사람의 의견이나 사례 몇 개, 실험실에서만 확인한 결과가 놓여요. 그 위에 사람들을 지켜보기만 하며 자료를 모은 관찰 연구가 오고, 다시 그 위에 사람들을 제비뽑기로 나눠 비교한 무작위 대조 시험이 와요. 꼭대기에는 이런 연구 여럿을 빠짐없이 모아 함께 따져 본 체계적 문헌고찰과 메타분석이 놓여요.

다만 칸은 출발점일 뿐이에요. 높은 칸의 설계라도 엉성하게 수행됐거나 대상이 적으면 등급이 깎이고, 꼭대기의 메타분석도 모아 담은 연구들이 부실하면 결론이 부실해져요. 그래서 요즘 쓰는 평가 방식은 설계와 함께 수행의 질까지 보고 등급을 매겨요.

동네 사람들을 살펴봤더니 식물을 키우는 사람이 더 행복하다는 통계가 나왔다고 해 볼게요. 이것은 두 일이 함께 나타난다는 상관관계예요. 여유 시간이 많은 사람이 식물도 키우고 행복하기도 할 수 있어서, 식물이 행복을 만들었다고는 아직 말할 수 없어요.

원인을 가리려면 비교할 짝이 필요해요. 식물을 키우지 않는 대조군을 두고 두 무리를 견주는 거예요. 그런데 짝을 두는 것만으로는 모자라요. 사람들이 스스로 무리를 고르면 여유 있는 사람이 한쪽에 몰릴 수 있거든요. 제비뽑기로 무리를 나누는 무작위 배정이 들어가야 두 무리가 처음부터 비슷해지고, 남은 차이를 식물 탓으로 돌릴 수 있어요.

세 낱말은 서로 다른 층에 있어요. 상관관계와 인과관계는 결론이 어떤 종류인지를 말하고, 대조군은 한 연구 안에서 비교할 짝을 두는 장치예요. 근거의 수준은 그런 설계들을 나란히 놓고 그 결론에 얼마만큼 무게를 실을지 정하는 잣대예요.

모든 물음을 실험으로 풀 수는 없어요. 사람에게 해로울 수 있는 것을 일부러 나눠 줄 수는 없으니, 그런 물음은 잘 설계된 관찰 연구 여럿이 같은 방향을 가리킬 때 믿음을 쌓아 가요.

꼭대기 칸의 연구라고 하면 그 방법이 큰 힘을 발휘할 것처럼 기대하기 쉬워요. 어떤 학습법이나 비료가 최고 등급의 연구를 거쳤다고 하면 놀라운 성과를 떠올리기 마련이죠. 하지만 이것은 흔한 착각이에요.

근거의 수준이 매기는 것은 결론의 확실성이에요. 차이가 얼마나 나는지는 그와 별개로 따로 재야 해요. 아주 탄탄한 연구에서 '차이가 거의 없다'는 결론이 나올 수도 있고, 그때 등급이 높다는 것은 차이가 작다는 결론을 꽤 믿을 수 있다는 뜻이에요.

그래서 연구 결과를 읽을 때는 두 가지를 따로 물어야 해요. 이 결론을 얼마나 믿을 수 있는가, 그리고 믿을 수 있다면 그 차이가 실제로 얼마나 큰가. 믿을 만한 설계와 대단한 효과는 서로 다른 물음이에요.