연구 설계는 빈칸 채우기가 아닙니다. 결정들이 서로 맞물려 있습니다. 설계 유형을 바꾸면 검정이 바뀌고, 검정이 바뀌면 필요한 표본 크기가 바뀝니다. 범용 AI 도구도 그럴듯한 설계를 내놓지만, 실제 검정과 맞지 않는 표본 크기나 존재하지 않는 척도·논문이 섞이는 경우가 많습니다.
에이전트 갤러리의 Experimental Design 에이전트는 바로 그 확인에서 시작합니다. 관련 연구의 방법 절을 읽고 그것을 바탕으로 내 연구의 결정을 하나씩 내리며, 모든 결정의 이유와 출처를 기록합니다. 관행이나 판단에 기댄 선택에는 출처 없음이라고 분명히 적습니다. 결과물은 실험 설계 보고서와, 읽은 연구들의 참고 설계 비교표입니다.
에이전트가 하는 일
워크플로는 에이전트 단계 네 개와 답변입니다. 중간에 질문하지 않습니다. 요청에 적은 것 — 대상 집단, 조작, 측정, 제약 — 은 적은 그대로 지키고, 비워 둔 부분은 선행 연구에서 가장 흔한 선택으로 정한 뒤 가정으로 기록합니다.
- 연구 질문과 참고 설계. 현상, 대상 집단, 결과 변수를 다시 정리하고, 답할 수 있는 연구 질문 2~4개와 방향이 있는 가설을 쓰고, 열려 있는 차원을 정합니다. 이어서 관련 연구가 실험을 어떻게 설계했는지 조사합니다. 패러다임과 주요 측정으로 검색하고, 가장 관련 있는 방법 절을 읽고, 실제로 읽은 연구마다 한 행씩 — 설계, 독립·종속 변인, 측정, N, 분석, 링크, 그리고 어떤 설계 요소를 뒷받침하는지 — 기록합니다.
- 변인, 설계, 측정. 설계 유형 — 피험자 간·피험자 내·혼합, 요인 구조 — 과 그것이 맞는 이유를 정하고, 무선 배정과 역균형화를 정하며, 대안 설계 하나를 장단점과 함께 비교합니다. 독립 변인마다 조작 방법과 수준 수를, 종속 변인마다 도구·단위·계산법을 정합니다. 설문이나 척도는 모두 뉴트로픽의 측정 도구 레지스트리에서 찾아보고, 레지스트리가 돌려준 것(문항, 채점, 역채점 문항, 출처, 라이선스)만 씁니다. 찾지 못한 도구는 출처 확인 필요로 표시하며, 타당화되었다고 쓰지 않습니다.
- 표본 크기, 절차, 타당도. 설계에 맞는 검정으로 검정력 곡선을 계산하고, 목표 검정력에 이르는 N을 씁니다. 곡선이 뒷받침하지 않는 표본 크기는 보고서에 쓰지 않습니다. 프로토콜 흐름도(스크리닝, 기저선, 처치, 사후 검사와 각 단계의 n·시점)를 그리고, 주요 KPI와 성공 기준, 보조 KPI, 다중 비교 통제를 정하고, 윤리 항목과 내적·외적·구성·통계적 결론 타당도 위협 및 각각의 대응을 정리합니다.
- 작성과 점검. 요청한 언어로 설계 보고서 하나를 쓰고, 보고서의 수치를 그림 — 검정력 곡선, 흐름도, 예상 결과 — 과 대조하는 설계 점검을 돌려 주요 불일치를 모두 고친 뒤 마칩니다.
- 답변. 채팅에 짧은 요약과 파일이 나옵니다.
설계 보고서에 담기는 것
보고서에는 틀 잡기, 설계, 변인과 측정, 참가자, 통계, 절차와 윤리, 그리고 설계 요소별 근거와 출처가 담기며, 연구자가 정한 것과 에이전트가 가정한 것이 구분됩니다.
보고서는 사전등록 초안 — 가설, 설계, 변인, 표본, 분석, 제외 규칙 — 과 연구자가 결정할 사항 목록으로 끝납니다. DOCX, PDF, 마크다운으로 내려받을 수 있습니다.
참고 설계 비교표는 조사한 연구마다 한 행입니다. 설계 유형, 독립 변인, 종속 변인과 측정, 표본 크기, 분석, 링크, 그리고 이번 설계가 그 연구에서 가져온 것. 두 파일은 연결되어 있어, 설계 근거에 인용된 연구는 모두 비교표에 있고 뒷받침 열이 어떤 요소를 받치는지 보여 줍니다. 이번 실행에서 검색하고 읽은 논문만 인용할 수 있고, 그 밖의 인용은 저장 전에 빠집니다.
표본 크기는 어떻게 정하나요
검정력 곡선은 설계에 맞는 검정으로 코드에서 계산합니다. 예를 들어 사전·사후 혼합 설계라면 상호작용을 변화 점수로 봅니다. 보고서에는 효과크기, α, 검정력, 효과크기의 출처가 적히고, 출처 없는 추정치는 그렇게 표시됩니다. N은 가설을 검정할 수 있는 최소 인원이며 탈락 여유분은 더하지 않으니, 모집 계획은 그 위에 세우세요.
수준에 따라 달라지는 것
어느 수준이든 같은 단계를 실행하고, 표본 크기는 언제나 검정력 곡선에서 나옵니다. 수준이 높을수록 더 많은 참고 연구를 조사하고, 더 많은 방법 절을 읽고, 보고서에 절이 더해집니다.
| Lite | Pro | Expert | Max Thinking | |
|---|---|---|---|---|
| 한마디로 | 주 설계를 빠르게 | 주 설계 + 대안 하나 | 전체 분석 계획까지 | 예비 연구 계획과 일정까지 |
| 후보 · 비교 연구 | 8 · 5 | 20 · 8 | 30 · 12 | 40 · 15 |
| 방법 절 전문 읽기 | 없음(초록만) | 2편 | 4편 | 6편 |
| 표본 크기 | 검정력 곡선 + 계산 코드 | 같음 | 같음 + 민감도 표 | 같음 + 민감도 표 |
| 추가 절 | — | — | 분석 계획 · 조작 점검 | 분석 계획 · 조작 점검 · 예비 연구 계획 · 일정 |
실행하는 법
에이전트 갤러리 → 연구 설계에서 Experimental Design의 과제 실행을 누릅니다. 예시 과제가 들어간 채로 홈이 열리면 내 연구로 바꿔 쓰세요.
Design an experiment on {research topic or idea}. I want to test how {what you manipulate} affects {the outcome you measure} in {population}.이미 정한 것은 적어 두세요. 적은 그대로 지켜집니다. 몇 가지를 더하면 결과가 눈에 띄게 달라집니다.
- 참가자 상한이나 그 밖의 제약(시간, 예산, 장비). 검정력과 대안 설계를 그 안에서 비교하고, 근거 표에 제약이 어느 결정을 바꿨는지 적습니다.
- 꼭 써야 하는 측정 도구나 논문. 측정 도구는 출처와 채점을 확인하고, 논문은 참고 설계 비교표에 들어갑니다.
- 소속 기관의 IRB 양식이나 규칙. 윤리 항목이 그것을 따릅니다.
I want to test in VR how kiosk font size affects task success for older adults. We can recruit at most 60 participants. Include a preregistration draft.
보내기 옆에서 수준을 고르고 보냅니다. 다른 에이전트와 마찬가지로 에이전트 페이지의 나의 지침에 연구실의 고정 규칙 — 검정력 기준, 효과크기 출처, 선호하는 설계, 보고서 언어 — 을 이름 붙여 저장해 두고 다시 쓸 수 있습니다.
설계가 끝난 뒤
같은 채팅에서 이어 가세요. "80명밖에 없다면?", "피험자 간 설계로 바꿔 줘", "사전등록은 OSF 양식으로 해 줘". 직접 다듬고 싶다면 파일 패널에서 보고서의 노트북에 저장을 누르세요.
설계에 기대기 전에 효과크기 가정을 검토하고, 측정 도구의 라이선스와 번역을 확인하고, 결정 사항 목록을 읽으세요. 윤리 항목은 신청을 돕는 초안이며, 승인은 IRB가 판단합니다. 사전등록도 초안입니다. OSF나 AsPredicted에 직접 등록하세요.
아직 분야를 정리하지 않았다면 Narrative Review 에이전트를 먼저 실행하고 같은 채팅에서 설계하세요. 찾은 공백을 다루는 설계가 됩니다. 연구를 마친 뒤에는 Paper Draft가 방법 절을 오직 이 보고서에서 가져옵니다. 설정과 단계별 지시문은 연구 설계 템플릿 문서에 있습니다.
