안녕하세요, 뉴트로픽 팀입니다!
시험 기간만 되면 잠을 못 자고 손이 떨린다는 학생들, 주변에 꼭 있죠. 요즘은 마음챙김 앱도 많으니 "앱을 4주만 써 보면 시험 불안이 줄어들까?" 하는 궁금증이 생길 법합니다. 그런데 막상 연구로 확인하려고 하면 질문이 줄줄이 이어져요. 대조군은 뭘 하게 하지? 몇 명을 모아야 하지? 언제 측정하고 어떻게 분석하지? 🥲
설계 단계의 결정은 나중에 되돌리기 어렵습니다. 데이터를 다 모은 뒤에 "대조군이 왜 이렇죠?", "표본 크기 근거는요?"라는 질문을 받으면 고칠 방법이 거의 없거든요.
이 글에서는 교육심리 석사 과정 하은 씨가 학위논문 실험을 설계하는 과정을 따라가 봅니다. 하은 씨는 가상의 인물이지만, 아래 화면은 모두 뉴트로픽에서 실제로 실행한 결과예요.
궁금한 다섯 가지를 한 문단에 담았습니다
하은 씨가 정해 둔 건 많지 않았어요. 대상은 우리 학과 학부생, 기간은 4주, 시험 불안은 설문으로 잰다는 것 정도였죠. 에이전트 갤러리에서 연구 설계 에이전트를 열고 프로 수준으로 이렇게 보냈습니다.
대학생을 대상으로 4주 동안 마음챙김 앱을 쓰면 시험 불안이 줄어드는지 확인하는 연구를 설계하고 싶어. 우리 학과 학부생을 모집할 수 있고, 시험 불안은 설문으로 측정할 생각이야. 어떤 설계가 좋을지, 대조군은 어떻게 둘지, 표본은 몇 명이 필요한지, 측정 시점과 분석 방법까지 정리해 줘.
좋은 요청인 이유는 두 가지예요. 하나는 이미 정한 조건(대상, 기간, 측정 방식)을 분명히 적었다는 것, 다른 하나는 받고 싶은 답을 다섯 가지(설계, 대조군, 표본 수, 측정 시점, 분석)로 나눠 적었다는 것이죠. 정하지 않은 부분은 비워 둬도 괜찮습니다. 아래에서 보듯 에이전트가 가정으로 따로 적어 두거든요.
질문을 연구 질문과 가설로 바꾸고, 빈칸은 가정으로 적었습니다
실행은 8단계로 진행됐고 2분 정도 걸렸어요. 1단계 연구 질문 구체화에서 연구 질문 3개와 가설 2개가 나왔습니다. 주가설(H1)은 "앱 사용군이 대조군보다 사전에서 4주 후까지 시험 불안 점수가 더 크게 줄어든다"였고, 집단×시점 상호작용으로 검정한다고 적혀 있었어요.
요청에 없던 일곱 가지는 가정으로 기록됐습니다. 대조군은 같은 기간 평소처럼 지내며 앱을 쓰지 않는 대기 대조로, 배정은 무작위로, 두 집단 모두 같은 시점에 같은 설문을 작성하는 식이에요. 하은 씨가 정한 적 없는 내용이 어디인지 한눈에 보이니, 지도교수님과 상의할 목록이 저절로 생긴 셈이죠.

비슷한 실험 8편의 설계를 먼저 비교했습니다
2단계에서는 데이터베이스 9곳에서 102편을 찾아 실험 설계 8편을 비교했어요. 방법 절 원문까지 읽은 연구도 있었고, 후보 목록은 표 파일로 남았습니다. 3단계에서 정해진 설계는 2집단 무작위 배정 혼합설계, 즉 집단은 사람마다 다르고 시점(사전·사후)은 같은 사람이 반복하는 구조였어요.
4단계 측정 도구 선정에서는 솔직한 결과가 나왔습니다. 참고 연구 초록에 구체적인 척도 이름이 없어서, 시험 불안 설문 1개를 뉴트로픽 측정 도구 목록에서 확인하지 못했고 출처 확인이 필요하다고 표시했어요. 이름을 그럴듯하게 지어내는 대신 빈칸으로 남긴 거죠.
표본 크기는 코드를 돌려 34명으로 나왔습니다
5단계 표본 크기와 분석 계획에서는 검정력 분석 코드를 실제로 실행해 총 34명을 제안했어요. 근거는 혼합 분산분석의 집단×측정 상호작용(2집단 × 2회 측정, 반복 측정 간 상관 ρ = 0.5, ε = 1), 효과 크기 f = 0.25, α = 0.05, 검정력 0.80입니다. 계산 코드와 무작위 배정표를 만드는 코드도 각각 파일로 붙어 있었어요.
저희도 같은 가정으로 다시 계산해 봤는데 34명이 그대로 나왔습니다. 계산 자체는 맞아요. 😎

하은 씨가 하마터면 34명만 모집할 뻔했습니다
"34명이면 우리 학과에서 충분히 모으겠다!" 하은 씨는 바로 계획서에 옮겨 적으려 했어요. 그런데 근거 줄을 다시 읽어 보면 f = 0.25 옆에 선행연구에서 확인하지 못한 추정치라고 적혀 있습니다. 실제 효과가 이만큼 클지는 아직 모른다는 뜻이에요.
조금 더 풀어 보면 이렇습니다. 이 계산 틀에서 f = 0.25는 두 집단의 변화량 차이가 설문 점수 표준편차 하나만큼 난다는 가정이라, 꽤 큰 효과예요. 저희가 계산해 보니 실제 효과가 그 절반이면 34명으로는 검정력이 30% 안팎으로 떨어지고, 80%를 맞추려면 128명이 필요했습니다. 게다가 34명은 분석 대상 수 그대로라 중간에 그만두는 사람을 고려하지 않은 숫자예요. 탈락을 20%로만 잡아도 43명은 모집해야 합니다.
다행히 에이전트도 이 점을 놓치지 않았어요. 답 아래의 첫 번째 다음 단계 제안이 바로 "효과크기·검정력·탈락률 가정을 명시해 다시 점검하고, N=34가 충분한지 구체적으로 평가해 주세요"였습니다.
보고서와 '먼저 확인할 것'이 함께 남았습니다
마지막 8단계에서 설계 보고서와 사전등록 초안이 만들어졌어요. 답에는 연구 제목과 한 문단 요약, 표본 크기, 가정한 것, 그리고 먼저 확인할 것 세 가지가 정리돼 있었습니다.
- 시험 불안 설문의 이름, 언어판, 총점 산출법, 결측 문항 처리 규칙과 사용 허가 확정하기
- 앱과 안내된 연습의 구체적 내용, 주간 수행 목표, 이용 기록 접근 방법 확정하기
- 대기 대조군이 4주 동안 앱을 쓰지 않는지, 시험 기간 중 다른 마음챙김 활동을 하는지 기록할 방법 정하기

보고서 파일을 열면 맨 위 이번 실행에 실행 수준과 이 수준에 포함된 내용, 가정한 것이 적혀 있어요. 측정 시점은 앱 사용 시작 전과 4주 사용 직후로 정해졌고, 참고 설계 비교표도 따로 받을 수 있었습니다. 노트북에 저장을 누르면 노트북에서 이어 고칠 수 있고요. 답 아래에는 측정 시점과 혼합효과모형을 구체화하자는 제안, 관련 선행연구를 서술적 문헌고찰 에이전트로 정리하자는 제안도 있었어요.

막연한 아이디어가 검토할 수 있는 설계안이 됐습니다
| 시작할 때 | 지금 | |
|---|---|---|
| 연구 질문 | "앱을 쓰면 불안이 줄까?" | 연구 질문 3개, 가설 2개(주가설은 집단×시점 상호작용) |
| 설계 | 정하지 못함 | 2집단 무작위 배정 혼합설계, 대기 대조, 사전·4주 후 측정 |
| 근거 | 무엇을 참고할지 모름 | 102편 검색, 실험 설계 8편 비교표 |
| 표본 | 감이 오지 않음 | 코드로 계산한 34명과 그 가정 |
| 남은 일 | 막막함 | 먼저 확인할 것 3개, 표본 재점검 제안 |
한계도 적어 둘게요. 설문 도구는 아직 정해지지 않았고, 효과 크기는 선행연구에서 가져온 값이 아니라 가정한 값입니다. 모집 가능 인원 약 120명도 하은 씨의 실제 사정이 아니라 대면 실험실 연구의 기본값이에요. 또 대기 대조는 "무언가를 하고 있다"는 기대 효과까지 막아 주지는 못하니, 시간을 맞춘 능동 대조와 함께 검토해 보는 게 좋습니다. 그래도 빈 문서에서 출발하는 것과, 결정할 목록이 붙은 설계안에서 출발하는 건 완전히 다르죠.
이 글은 프로 수준으로 실행했고, 대안 설계 1개와 참고 연구 8편이 포함됐어요. 라이트(무료 요금제)는 대안 설계 없이 핵심 설계만, 초록 기준 참고 연구 5편으로 빠르게 보여 줍니다. 전문가는 여기에 분석 계획, 조작 점검, 효과 크기를 ×0.5~×1.25로 바꿨을 때의 필요 표본 표, 선행연구에서 뽑은 효과 크기 근거, 설계 검토 1회를 더해요.
실험 아이디어 한 문단이면, 지도교수님과 검토할 설계안까지 갈 수 있습니다. 표본 수의 가정만은 꼭 다시 확인하세요.
이번 주에 하은 씨처럼 정한 것과 궁금한 것을 적어서 물어보세요. 뉴트로픽 무료로 시작하기