안녕하세요, 뉴트로픽 팀입니다!
수업 개입 효과를 보는 실험을 계획하면 거의 반드시 이 벽을 만납니다. 학교에서는 학생을 한 명씩 무작위로 나눌 수 없다고 해요. 시간표도 교실도 이미 정해져 있으니, 바꿀 수 있는 건 "이 반은 새 수업, 저 반은 기존 수업" 정도죠. 그런데 심사 위원은 묻습니다. "그래서 표본은 몇 명이에요?" 🥲
여기서 흔히 하는 실수가 있습니다. 학생을 독립된 사람처럼 놓고 평범한 두 집단 검정력 분석을 돌린 뒤, 그 숫자를 그대로 쓰는 거예요. 같은 반 학생들은 같은 교사, 같은 교실, 같은 분위기를 공유합니다. 서로 닮을 수밖에 없죠. 그래서 학급 8개에 학생 200명은, 한 명씩 무작위 배정한 학생 200명보다 정보가 훨씬 적습니다.
이 글에서는 교육학 석사 과정 도윤 씨가 학급 단위 실험의 표본 크기를 처음 정하는 과정을 따라가 봅니다. 도윤 씨는 가상의 인물이지만, 아래 화면은 모두 뉴트로픽에서 실제로 실행한 채팅이에요.
숫자 하나 없이, 핵심 사실 하나만 적었습니다
도윤 씨에게는 효과크기도, 학급당 인원도 아직 정해진 게 없었어요. 그래서 아는 것만 한 줄로 보냈습니다.
두 집단 비교 실험인데 학급 단위로 배정해. 표본 크기를 어떻게 계산해야해?
짧지만 좋은 질문이에요. "학급 단위로 배정한다"는 한 마디가 계산 방법 전체를 바꾸는 사실이기 때문입니다. 이 말이 빠졌다면 평범한 두 집단 계산이 돌아왔을 거예요. 입력값이 없을 때는 뉴트로픽이 가정을 밝힌 예시로 계산해 주니, 처음부터 숫자를 다 채우지 않아도 괜찮습니다.

답하기 전에 검정력과 실험 설계 지침부터 읽었습니다
보내자마자 화면에 단계가 쌓였어요. 방법 지침 찾기로 군집 무작위 배정의 표본 크기에 맞는 지침을 찾고, 방법 지침 읽기로 검정력(statistical-power) 지침과 실험 설계(experimental-design) 지침을 읽었습니다. 마지막으로 코드 실행으로 계산을 돌렸고요.
방법 지침은 뉴트로픽이 미리 검토해 둔 분석 절차 문서예요. 기억에 기대 바로 답하는 대신, 검증된 절차를 먼저 읽고 그 순서를 따르게 합니다. 단계를 누르면 무엇을 읽고 어떤 코드를 돌렸는지 그대로 볼 수 있어요.
학생 63명이 학급 12개가 됐습니다
답의 뼈대는 세 단계였어요. 먼저 학생을 한 명씩 배정한다고 치고 필요한 인원을 구합니다. 그다음 설계효과 DE = 1 + (m − 1) × ICC로 그 인원을 키웁니다. 여기서 m은 학급당 학생 수, ICC는 같은 반 학생끼리 얼마나 닮았는지를 나타내는 학급 내 상관이에요. 마지막으로 키운 인원을 학급 수로 바꿔 올림합니다.
도윤 씨가 숫자를 주지 않았으니, 답은 설명용 가정을 분명히 밝히고 계산했어요.
- 양측 유의수준 0.05, 검정력 0.80
- 표준화 평균 차이 d = 0.50
- 학급당 평균 25명, ICC = 0.05
- 두 집단에 학급을 같은 수로 배정
결과는 이렇습니다. 개인 단위라면 집단별 약 63명, 총 126명이면 돼요. 설계효과는 1 + (25 − 1) × 0.05 = 2.2입니다. 이를 곱하면 약 278명이 필요하고, 학급 수로 올림하면 집단별 6학급, 총 12학급이 됩니다. 학급당 25명이 모두 참여하면 총 300명이에요.

ICC 0.05는 작아 보이지만, 학급당 25명이 모이면 필요한 인원을 두 배 넘게 키웁니다. 학생을 더 모으는 것보다 독립된 학급을 더 확보하는 쪽이 검정력에 훨씬 중요하다는 말이 답에 강조된 이유예요.
"12학급이면 된다"고 쓸 뻔했습니다
여기서 도윤 씨가 하마터면 실수할 뻔했어요. 계획서에 "집단별 6학급, 총 12학급"이라고 바로 옮겨 적고 싶어지거든요. 그런데 답은 이 숫자에 단서를 분명히 달아 둡니다.
- 이 값은 설계효과를 이용한 근사 예시예요. 학급 수가 적거나 학급 규모가 크게 다르면 정확한 검정력을 보장하기 어렵습니다.
- 실제로 계획한 혼합모형이나 군집 보정 분석을 반영해 모의실험으로 확인하는 편이 좋아요.
- 효과크기와 ICC 가정이 달라지면 필요한 학급 수도 달라지므로, 근거 있는 값을 쓰고 여러 시나리오를 비교해야 합니다.
특히 집단당 6학급은 많은 수가 아니에요. 이럴 때 설계효과 공식은 낙관적일 수 있습니다. 도윤 씨는 숫자 대신 "근사치이며, 선행연구의 ICC 범위와 모의실험으로 확인한다"는 계획을 적기로 했어요.

다음에 할 일까지 제안받았습니다
답 맨 아래에는 이어서 할 일 두 가지가 있었어요.
- 효과크기, ICC, 학급당 예상 학생 수, 탈락률과 사용할 분석모형을 어떤 근거로 정해야 하는지 구체적으로 설명받기
- 교육·상담 분야의 학급 단위 선행연구로 효과크기와 ICC의 현실적인 범위를 정리하고, 범위별 필요한 학급 수를 비교하는 설계 보고서 쓰기 — 연구 설계 에이전트
누르면 같은 대화에서 바로 이어집니다. 두 번째 제안을 누르면 연구 설계 에이전트가 이어받아요. 이 에이전트는 에이전트 갤러리에서 따로 실행할 수도 있는데, 학급 수로 자유도를 세서 검정력을 계산하고, 집단당 학급을 최소 4개 이상 두고, 표본 근거를 설계 보고서에 적어 줍니다.

막연한 "몇 명?"이 근거 있는 "몇 학급?"이 됐습니다
| 시작할 때 | 지금 | |
|---|---|---|
| 질문 | "학생 몇 명이 필요하지?" | "학급이 몇 개 필요하고, 그 근거는?" |
| 계산 방법 | 평범한 두 집단 검정력 분석 | 개인 단위 표본 × 설계효과 → 학급 수로 올림 |
| 예시 결과 | 없음 | 집단별 63명 → 설계효과 2.2 → 집단별 6학급(총 12학급) |
| 주의할 점 | 몰랐음 | 학급 수가 적으면 근사가 낙관적, 모의실험 필요 |
| 다음 단계 | 막막함 | ICC 근거 찾기와 연구 설계 에이전트 제안 |
물론 이건 가정값으로 계산한 예시예요. 실제 계획에는 비슷한 선행연구나 예비 자료의 ICC, 실제 학급 크기와 그 편차, 예상 탈락률이 들어가야 합니다. 그래도 "몇 명"에서 "몇 학급"으로 질문이 바뀐 것만으로 계획서의 절반은 정리된 셈이죠.
이 글은 프로 수준으로 실행했어요. 라이트(무료 요금제)는 공식과 필요한 입력값을 알려 주고, 전문가는 여기에 ICC 시나리오 비교와 군집이 적을 때의 보정까지 더합니다.
학급 단위로 배정한다면, 그 한 마디를 질문에 꼭 넣으세요. 계산이 처음부터 달라집니다.
이번 주에 도윤 씨처럼 아는 것 한 줄로 물어보세요. 뉴트로픽 무료로 시작하기