무작위 연구
Randomized Controlled Trial
참가자를 무작위로 두 집단에 나눠 한쪽에만 새로운 방법을 써보고 결과를 비교하는 실험 방식.
쉽게 말하면
무작위 연구는 사람을 동전 던지듯 무작위로 두 집단에 나눈 뒤, 한 집단에만 새로운 방법을 적용해서 결과가 정말 그 방법 때문에 달라졌는지 확인하는 실험 방법이에요.
왜 동전 던지듯 나눌까요? 예를 들어 원래 건강한 사람들만 새 방법을 써보고 나머지는 그냥 두면, 결과가 좋아도 방법 덕분인지 원래 건강했던 덕분인지 알 수 없어요. 무작위로 섞어 나누면 나이, 건강 상태, 습관 같은 다른 조건이 양쪽에 고르게 퍼지니까, 남는 차이는 그 방법 때문이라고 믿을 수 있어요.
AI를 평가할 때도 같은 논리가 쓰여요. AI 혼자 문제를 풀 때 점수와, 실제 사람이 AI와 대화하며 문제를 풀 때 점수를 무작위로 나눈 집단끼리 비교하면 AI 성능 그 자체가 아니라 사람과 함께 썼을 때 실제로 무슨 일이 벌어지는지가 드러나요.
기사에서 이렇게 나와요
기사는 영국 성인 1,298명을 대상으로 한 무작위 연구에서 AI가 혼자 문제를 풀 때보다 사람이 AI와 대화하며 증상을 판단할 때 성과가 크게 떨어졌다고 전해요. 여기서 오해하기 쉬운 점은 이 결과가 'AI 실력이 나쁘다'는 뜻이 아니라는 것이에요. 무작위 연구는 AI 자체의 실력과, 사람이 실제로 그 AI를 사용하는 상황에서의 결과를 나눠서 비교했고, 그 차이가 드러난 거예요.
직접 해보기
건강이나 기술 관련 뉴스에서 '무작위 연구' 또는 '무작위 대조 시험'이라는 표현을 보면 이렇게 확인해보세요.
- 참가자가 몇 명이고 몇 개 집단으로 나뉘었는지 찾아보세요.
- 비교 대상이 무엇인지 확인하세요 (예: AI 혼자 vs 사람과 AI 함께).
- 결과 차이가 방법 때문인지, 아니면 두 집단이 애초에 달랐기 때문인지 기사가 설명하는지 살펴보세요.