연구 설계
관련 연구들이 실제로 어떻게 설계했는지를 근거로 실험을 설계해 줘. 하고 싶은 연구를 설명할게. 가설·변인·설계 유형·측정 도구·검정력 곡선에 맞춘 표본 크기·분석 계획·윤리·사전등록 초안을 담은 설계 보고서와, 참고 연구들의 설계를 비교한 표를 돌려줘.
연구 설계: 연구 방법과 실험을 설계하고 있어요
하고 싶은 실험을 알려주세요. 관련 연구들이 실제로 어떻게 설계했는지를 근거로 가설·변인·설계 유형·측정 도구·표본 크기·분석 계획·윤리를 갖춘 실험 설계 보고서와, 참고한 연구들의 설계를 비교한 표를 드려요.
이런 분께 필요해요
- 연구 질문은 정했는데 어떻게 검증할지 설계해야 하는 연구자
- 연구계획서·학위논문 계획서의 연구 방법 장을 써야 하는 대학원생
- 실험 전에 표본 크기와 분석 방법을 근거 있게 정해야 하는 연구자
- 사용자 실험(A/B·조건 비교)을 처음 설계하는 UX 리서처
- IRB 심의나 사전등록을 앞두고 설계를 한 문서로 정리해야 하는 연구팀
받는 결과
두 가지 결과를 받아요. 설계 보고서에는 이번 연구의 설계안이, 참고 설계 비교표에는 그 설계의 근거가 된 선행연구들의 설계가 담겨요.
- 실험 설계 보고서 이번 연구의 설계안 · 연구 목표, 연구 질문과 가설, 설계 유형, 독립·종속 변인과 측정 도구, 참가자와 포함·제외 기준, 표본 크기와 검정력, 주요 지표, 분석 계획, 윤리, 타당도 위협, 설계 근거표, 사전등록 초안, 결정할 사항 목록. 절차 흐름도·예상 결과 그래프·검정력 곡선을 본문에 넣어요 · DOCX(연구계획서 편집) · PDF(공유) · MD(노트 도구)
- 참고 설계 비교표 조사한 선행연구의 설계 · 연구마다 한 행에 설계 유형, 독립 변인, 종속 변인과 측정 도구, 표본 크기, 분석 방법, 링크와 이번 설계에서 참고한 점 · 표(정렬·필터) · XLSX · CSV
설계 보고서에서 확인할 수 있는 항목
두 결과는 서로 이어져요. 설계 근거표에 인용한 연구는 비교표에서 찾을 수 있고, 비교표의 "참고한 점" 열이 설계 근거표의 어느 요소를 뒷받침하는지 보여 줘요.
- 연구 틀 연구 목표, 연구 질문, 방향이 있는 가설(주·부 가설과 검정 방법)
- 설계 설계 유형(피험자 간·내·혼합, 요인 구조), 조건 수와 배정·무작위화, 순서 효과 상쇄, 대안 설계
- 변인과 측정 독립 변인의 조작과 수준, 종속 변인의 조작적 정의(도구·단위·산출 방식), 척도의 문항 수·채점·출처·사용 허락
- 참가자 대상 집단과 선정 이유, 포함·제외 기준과 그 이유, 목표 인원(최소 기준)
- 통계 효과 크기와 그 출처, 유의수준, 검정력, 다중비교 보정, 주요 지표와 성공 기준, 분석 방법
- 절차와 윤리 절차 흐름(선별·사전·처치·사후), 동의·위험·보상·철회·개인정보·IRB 상태
- 근거와 한계 요소별 설계 근거와 출처, 타당도 위협과 대응, 연구자가 정한 것과 에이전트가 가정한 것의 구분
이렇게 요청해요
{연구 주제나 실험 아이디어}에 대한 실험을 설계해줘. {대상 집단}을 대상으로 {조작할 것}이 {측정할 결과}에 미치는 영향을 검증하고 싶어. — 밑줄 친 곳을 내 연구에 맞게 바꿔 보내세요.
- 연구 주제나 실험 아이디어: 한 문장이면 충분해요.
- 대상 집단 · 조작할 것 · 측정할 결과: 비워 두면 선행연구에서 가장 흔한 선택으로 정하고, 보고서와 채팅 첫 줄에 가정으로 밝혀요. 적은 것은 그대로 지켜요.
함께 주시면 좋아요
- 가설이나 가설 문서 가설을 출발점으로 삼아 검증할 수 있는 설계로 옮겨요. 근거 기반 가설 찾기의 결과 문서도 그대로 읽어요
- 자원과 제약 (기간, 예산, 참가자 수 상한, 장비) 표본 크기와 설계 유형을 제약 안에서 정하고, 제약이 결정을 바꾼 곳을 근거표에 적어요
- 꼭 쓸 측정 도구나 참고 논문 측정 도구는 출처와 채점 방식을 확인해 넣고, 논문은 참고 설계 비교표에 넣어요
- 소속 기관의 IRB 양식이나 규정 윤리 항목을 그 기준에 맞춰 정리해요
이렇게도 요청할 수 있어요
- 감성 조명이 작업 집중도에 미치는 영향을 검증하는 실험을 설계해줘. → 조명 조건 2~3수준의 피험자 내 설계, 집중 과제와 자기보고 척도, 검정력 곡선에 맞춘 표본 크기
- 첨부한 가설 문서의 H1을 검증할 실험을 설계해줘. 참가자는 대학생 60명까지야. → 가설 문서의 설계 초안을 출발점으로, 60명 제약 안에서 검정력과 대안을 비교한 설계
- 고령자 키오스크 화면 글자 크기가 과업 성공률에 미치는 영향을 VR로 실험하고 싶어. 사전등록 초안도 같이 줘. → VR 환경 제약을 반영한 설계와 사전등록 초안(가설·설계·표본·분석·제외 규칙)
나의 지침
같은 실험이라도 연구실마다 설계 원칙과 보고 방식이 달라요. 필요한 항목만 골라 내 방식대로 설정하세요. 설정하지 않은 항목은 기본값으로 진행해요. 이름을 붙여 저장하면 다음에 바로 불러올 수 있어요. 보고서 첫 쪽에서 이번에 반영한 지침과 기본값으로 진행한 항목을 구분해 보여드려요.
- 선호 설계 (설계 원칙) 연구실이 선호하거나 요구하는 설계 · 예: 피험자 내 설계 우선 · 무작위 대조군 필수 · 기본값: 질문과 제약에 맞춰 판단하고 이유를 명시
- 대안 설계 (설계 원칙) 함께 받을 대안의 수와 방식 · 예: 대안 1개 · 대안 없이 · 기본값: 라이트는 주 설계만 · 프로 이상은 대안 1개를 함께(장단점·표본 크기 비교)
- 측정 도구 원칙 (설계 원칙) 척도·도구를 고르는 기준 · 예: 국내 타당화 척도만 · 행동 지표 필수 · 기본값: 검증된 척도 우선, 출처·채점·사용 허락을 표시
- 검정력 기준 (표본과 통계) 표본 크기 계산의 유의수준과 검정력 · 예: α = .05, 검정력 .90 · 기본값: α = .05, 검정력 .80
- 효과 크기 출처 (표본과 통계) 표본 크기 계산에 쓸 효과 크기의 근거 · 예: 선행 메타분석의 효과 크기 · 관심 최소 효과 크기 d = 0.3 · 기본값: 선행연구의 효과 크기, 없으면 추정치로 표시
- 다중비교 보정 (표본과 통계) 여러 검정을 할 때의 보정 방법 · 예: Bonferroni · 보정 없이 주 가설 하나만 · 기본값: 주 가설 α 고정, 부 가설은 Holm 보정
- 참가자 조건 (연구 조건) 대상과 인원의 제약 · 예: 대학생 · 60명 이내 · 기본값: 요청에서 판단해 가정으로 명시
- 실험 환경 (연구 조건) 실험을 진행할 곳 · 예: 온라인 · 현장 · VR · 기본값: 요청에서 판단, 없으면 대면 실험실
- 자원 제약 (연구 조건) 기간·예산·장비 · 예: 4주 안에 · 아이트래커 사용 가능 · 기본값: 제약 없음으로 가정하고 명시
- 참고 연구 범위 (연구 조건) 설계 근거로 조사할 연구의 범위 · 예: 최근 10년 · HCI 학회 논문 · 기본값: 최근 10년 실험 연구 우선
- 사전등록 양식 (결과 형식) 사전등록 초안의 형식 · 예: OSF 표준 양식 · AsPredicted · 기본값: AsPredicted 형식
- 보고서 언어 (결과 형식) 작성 언어 · 예: 영어로 작성 · 기본값: 요청 언어
이 방법으로 일해요
설계 템플릿을 채우는 방식이 아니에요. 관련 연구들의 방법 절을 실제로 읽고, 그 설계를 근거로 이번 연구의 결정을 하나씩 내려요. 결정마다 이유와 출처를 설계 근거표에 남기고, 근거 없이 정한 것은 "출처 없음"으로 표시해요.
- 연구 질문 구체화 수행 내용: 요청과 가설 문서에서 현상·대상·결과를 정리하고, 답할 수 있는 연구 질문과 방향이 있는 가설로 옮겨요. 요청에 없는 것은 가정으로 정하고 기록해요 · 나의 지침으로 설정할 수 있어요: 참가자 조건, 실험 환경 · 연구자 검토: 질문과 가설이 의도와 맞는지
- 참고 연구 설계 조사 수행 내용: 같은 패러다임·측정을 쓴 연구를 검색하고 방법 절을 읽어 설계·조작·측정·표본·분석을 비교표로 정리해요 · 나의 지침으로 설정할 수 있어요: 참고 연구 범위 · 연구자 검토: 핵심 연구 누락 여부
- 변인과 설계 유형 결정 수행 내용: 독립 변인의 조작과 수준, 피험자 간·내·혼합 설계, 무작위화와 순서 상쇄를 정하고 대안 설계와 비교해요 · 나의 지침으로 설정할 수 있어요: 선호 설계, 대안 설계 · 연구자 검토: 설계 선택
- 측정 도구 선정 수행 내용: 종속 변인을 조작적으로 정의하고, 척도의 문항 수·채점·출처·사용 허락을 확인해요 · 나의 지침으로 설정할 수 있어요: 측정 도구 원칙 · 연구자 검토: 도구 사용 허락과 번안
- 표본 크기와 분석 계획 수행 내용: 설계와 같은 검정으로 검정력 곡선을 그려 표본 크기를 정하고(학급·기관을 통째로 배정하면 설계 효과를 반영), 다시 만들 수 있는 배정표를 코드로 내고, 주요 지표와 분석 방법·다중비교 보정을 정해요 · 나의 지침으로 설정할 수 있어요: 검정력 기준, 효과 크기 출처, 다중비교 보정 · 연구자 검토: 효과 크기 가정
- 절차와 윤리 수행 내용: 선별·사전·처치·사후 절차를 흐름도로 그리고, 동의·위험·보상·철회·개인정보·IRB 항목을 정리해요 · 나의 지침으로 설정할 수 있어요: 자원 제약 · 연구자 검토: 윤리 문제 여부
- 타당도 위협 점검 수행 내용: 내적·외적·구성·통계적 결론 타당도의 위협과 대응을 정리해요 · 연구자 검토: 남은 위협의 수용 여부
- 보고서 작성과 점검 수행 내용: 설계 보고서와 사전등록 초안을 쓰고, 본문 수치가 그림(검정력 곡선·흐름도·예상 결과)과 맞는지 점검해요 · 나의 지침으로 설정할 수 있어요: 사전등록 양식, 보고서 언어 · 연구자 검토: 결정할 사항 목록
수준에 따라 달라지는 것
참고 연구를 찾는 곳
- 학술 검색 OpenAlex · PubMed · Crossref · Semantic Scholar · Europe PMC · ERIC · arXiv
- 방법 절 읽기 공개 원문(Europe PMC 등), 첨부 PDF
- 측정 도구 뉴트로픽 척도 레지스트리(문항 수·채점·출처·사용 허락)
- 검정력 계산 뉴트로픽 검정력 계산(설계와 같은 검정으로 계산하고 곡선을 그려요)
- 계정에 API 키를 연결하면 검색에 포함 Scopus · Web of Science · KCI (설정 → 커넥터)
- 연결되지 않음 DBpia, RISS, PsycINFO, Google Scholar
이 방법에 대해
- 왜 선행연구의 설계를 근거로 하나요 같은 질문도 설계에 따라 답이 달라져요. 선행연구가 어떤 조작·측정·표본으로 결과를 얻었는지 알아야, 이번 설계가 그 결과와 비교 가능하고 놓친 위협이 무엇인지 알 수 있어요. 그래서 설계의 결정마다 그 결정을 뒷받침하는 연구를 함께 적고, 근거가 없으면 없다고 적어요.
- 이 작업이 왜 어려운가요 실험 설계는 항목을 채우는 작업이 아니라 서로 맞물린 결정이에요. 설계 유형이 바뀌면 검정 방법이 바뀌고, 검정이 바뀌면 필요한 표본 크기가 바뀌어요. 범용 AI도 그럴듯한 설계를 제안하지만, 표본 크기가 실제 검정과 맞지 않거나 존재하지 않는 척도·논문을 인용하는 일이 흔해요. 이 에이전트는 표본 크기를 계산으로 정하고, 보고서와 그림의 숫자가 다르면 고친 뒤에 드려요.
- 요청 팁
- 이미 정한 것은 꼭 적어 주세요. 대상, 조작, 측정, 제약은 적은 그대로 지켜요.
- 참가자 수 상한이 있으면 알려 주세요. 그 안에서 검정력과 대안 설계를 비교해요.
- 가설 문서가 있으면 첨부해 주세요. 설계가 그 가설을 검증하도록 맞춰요.
- 결과를 받은 뒤 채팅으로 이어서 요청할 수 있어요. 예: "표본 크기를 80명으로 줄이면?", "피험자 간 설계로 바꿔줘", "사전등록 초안을 OSF 양식으로 바꿔줘"
자주 묻는 질문
- 연구자가 직접 판단해야 할 부분은 무엇인가요?
- 설계의 최종 결정은 연구자가 해요. 에이전트는 판단에 필요한 근거와 계산을 드려요. • 효과 크기 가정을 검토해 주세요. 표본 크기는 이 가정에 크게 좌우돼요. 출처가 없는 추정치는 보고서에 표시해 두었어요. • 윤리 문제 여부는 IRB가 판단해요. 보고서의 윤리 항목은 심의 서류 작성을 돕는 초안이에요. • 측정 도구의 사용 허락과 번안 절차를 확인해 주세요. 레지스트리에 없는 도구는 "출처 확인 필요"로 표시해요. • 결정할 사항 목록을 확인해 주세요. 에이전트가 가정한 것과 연구자가 정해야 하는 것을 따로 모아 두었어요.
- 표본 크기는 어떻게 정하나요?
- 설계와 같은 검정(예: 혼합 설계의 상호작용은 변화 점수로)으로 검정력 곡선을 계산해, 정한 검정력에 이르는 인원을 써요. 효과 크기·유의수준·검정력과 효과 크기의 출처를 함께 적어요. 가설을 검정할 수 있는 최소 인원으로 계산하고, 탈락 대비 추가 모집은 넣지 않아요.
- 인용한 논문은 실제로 있는 논문인가요?
- 네. 이번 실행에서 검색하고 읽은 문헌만 인용할 수 있어요. 그 밖의 인용은 저장 전에 "출처 없음 — 제외한 인용"으로 바뀌어요.
- 사전등록까지 해 주나요?
- 사전등록 초안(가설·설계·변인·표본·분석·제외 규칙)을 드려요. 등록은 OSF나 AsPredicted에서 연구자가 직접 해 주세요.
- 설문 문항이나 사용성 테스트도 설계하나요?
- 설문지 문항 개발과 사용성 테스트 계획은 각각의 전용 에이전트가 더 맞아요. 이 에이전트는 조건을 비교하는 실험 설계에 집중해요.
- 연구계획서에 그대로 써도 되나요?
- 초안으로 활용해 주세요. 인용 문헌은 원문과 대조하고, 가정과 결정할 사항을 확인한 뒤 사용해 주세요.