탐색적 데이터 분석

무엇을 분석할지 정하기 전에 내 데이터를 탐색해 주세요. 데이터 파일(CSV·XLSX·SPSS)과 필요하면 코드북, 관심 변수를 알려 드려요. 데이터 품질 문제를 우선순위대로 정리하고, 결측 패턴·분포와 이상값·변수 사이의 관계(하위 집단에서 방향이 바뀌는 관계 포함)·숨은 사례 군집을 설명한 뒤, 발견을 근거로 가설 후보와 후보별 다음 분석을 제안하는 보고서와 데이터 프로필 표를 주세요.

탐색적 데이터 분석: 데이터를 분석하고 있어요

데이터 파일을 올려 주세요. 품질 문제와 결측 패턴, 분포와 이상값, 변수 사이의 관계와 숨은 군집을 찾아 우선순위대로 정리하고, 발견을 근거로 다음에 검정할 가설 후보를 제안해 드려요.

이런 분께 필요해요

  • 데이터를 막 받았는데 무엇부터 봐야 할지 모르는 연구자
  • 공개 데이터·기관 데이터로 연구 질문을 찾고 있는 대학원생
  • 본 분석 전에 데이터 품질과 가정을 점검해야 하는 연구팀
  • 로그·운영 데이터에서 눈에 띄는 패턴을 찾아야 하는 UX·제품 리서처

이런 결과를 받아요

두 가지 결과를 받아요. 보고서에는 발견과 가설 후보가, 데이터 프로필 표에는 모든 수치가 담겨요.

  • 탐색 보고서 데이터에서 찾은 것과 다음 할 일 · 한눈에 보기(주요 발견 F1…), 요약, 자료 구조, 품질 문제(심각도순), 결측 패턴과 Little MCAR 검정, 분포와 이상값, 변수 간 관계(하위 집단 방향 역전 포함), 주성분과 군집, 가설 후보(근거·다른 설명·다음 분석), 정제 제안, 그림 · MD (PDF·PNG 변환 에이전트로 공유용 PDF)
  • 데이터 프로필 표 보고서의 모든 수치 · 시트: Findings · Profile · Quality issues · Missingness · Distributions · Outliers · Associations · Clusters · Hypotheses · XLSX

보고서에서 확인할 수 있는 항목

발견마다 번호(F1, F2 …)가 붙고, 가설 후보는 그 번호를 근거로 들어요. 계산한 코드는 단계마다 코드 상자로 남아요.

  • 품질 중복 행·중복 ID, 상수 열, 숫자·글자 혼합, 철자만 다른 범주, 999 같은 결측 코드, 범위 밖 값, 드문 범주
  • 결측 열별·패턴별 결측, Little MCAR 검정, 결측과 다른 변수의 관련
  • 분포·이상값 왜도·첨도·이봉성·천장/바닥, 세 가지 규칙(MAD·IQR·IsolationForest) 중 둘 이상이 잡은 사례
  • 관계·구조 형식에 맞는 관련 지표(ρ·V·η), 하위 집단에서 방향이 바뀌는 관계, 비선형 관계, 주성분·군집

이렇게 요청하세요

첨부한 데이터를 탐색해줘. {관심 있는 주제나 변수(선택)}를 중심으로 봐줘. — 밑줄 친 곳을 내 연구에 맞게 바꿔 보내세요.

  • 관심 주제나 변수: 비워 두면 모든 변수를 고르게 살펴요.

함께 주시면 좋아요

  • 데이터 파일 (CSV·TSV·XLSX·SPSS .sav·Stata .dta) 한 행이 무엇인지(한 사람·한 측정) 알려 주면 품질 점검이 정확해져요
  • 변수 설명(코드북) 결측 코드와 값의 허용 범위를 품질 점검에 써요
  • 데이터를 모은 방법 수집 방식에서 생기는 편향을 함께 살펴요

이렇게도 요청할 수 있어요

  • 첨부한 공개 데이터에서 연구 질문이 될 만한 패턴을 찾아줘. → 가설 후보 5~10개와 근거 발견, 후보별 다음 분석
  • 본 분석 전에 이 데이터에 문제가 없는지 점검해줘. → 품질 문제 목록, 결측 패턴(MCAR), 분포·이상값, 정제 제안
  • 고객 로그에서 비슷한 사용자끼리 묶어줘. → 주성분·k-평균 군집, 군집별 특징 표

나의 지침

필요한 항목만 골라 설정하세요. 설정하지 않은 항목은 기본값으로 진행해요. 보고서 첫 쪽에서 반영한 지침과 가정한 것을 보여드려요.

  • 관심 변수 (탐색) 중심으로 볼 변수 · 예: 만족도 · 이탈 여부 · 기본값: 요청에서 판단, 없으면 모든 변수를 고르게
  • 구조 탐색 (탐색) 주성분과 사례 군집 · 예: 군집만 · 끔 · 기본값: 프로부터 주성분 + k-평균(군집 수는 실루엣으로)
  • 가설 후보 수 (탐색) 제안할 가설 후보의 수 · 예: 5개 · 10개 · 기본값: Lite 3 · Pro 5 · Expert 10
  • 식별자 열 (자료 처리) 참가자·기록을 구별하는 열 · 예: user_id · 한 사람이 여러 행 · 기본값: 행마다 값이 다른 열이 있으면 그것
  • 결측 코드 (자료 처리) 결측을 뜻하는 값 · 예: 999와 -9는 결측 · 기본값: 요청·코드북에 적힌 코드만(그 밖은 표시만 하고 바꾸지 않음)
  • 허용 범위 (자료 처리) 값이 들어가야 할 범위 · 예: 만족도 1–5 · 나이 18–99 · 기본값: 요청·코드북에 적힌 범위만
  • 보고서 언어 (보고 방식) 작성 언어 · 예: 영어로 작성 · 기본값: 요청 언어

이 방법으로 일해요

데이터를 고치지 않고 살펴요. 모든 점검과 계산은 코드로 하고, 모델은 발견 번호(F1…)만 근거로 가설 후보를 써요. 탐색 결과는 결론이 아니라 후보예요.

  • 자료 확인 하는 일: 형식·변수 형식·결측·고윳값, 관심 변수와 식별자 · 정할 수 있는 것: 관심 변수 · 확인할 것: 한 행의 의미
  • 품질 점검 하는 일: 중복·상수 열·형식 혼합·철자 변형·결측 코드·범위 밖 값·한 단위에 여러 행(행이 독립이 아님) — 심각도 3단계 · 정할 수 있는 것: 식별자 열, 결측 코드, 허용 범위 · 확인할 것: 문제의 실제 원인
  • 결측 패턴 하는 일: 열·패턴별 결측, Little MCAR 검정과 결측과 다른 변수의 관련(프로 이상) · 정할 수 있는 것: 결측 코드 · 확인할 것: 결측 처리 방침
  • 분포와 이상값 하는 일: 왜도·첨도·이봉성·천장/바닥, 이상값 3중 판정(IsolationForest는 프로 이상) · 정할 수 있는 것: — · 확인할 것: 이상값을 둘지 뺄지
  • 관계 하는 일: 형식에 맞는 관련 지표, 하위 집단 방향 역전(프로 이상)·비선형 관계(전문가 이상), 살펴본 비교 수 · 정할 수 있는 것: —
  • 숨은 구조 하는 일: 주성분과 k-평균 군집(실루엣으로 군집 수), 그림 · 정할 수 있는 것: 구조 탐색 · 확인할 것: 군집의 의미
  • 가설 후보 하는 일: 발견을 근거로 검정할 수 있는 가설, 다른 설명, 다음 분석과 에이전트 · 정할 수 있는 것: 가설 후보 수 · 확인할 것: 연구 질문으로 삼을지
  • 보고서 작성 하는 일: 보고서와 데이터 프로필 표 · 정할 수 있는 것: 보고서 언어 · 확인할 것: 정제 제안

수준에 따라 달라지는 것

정답 확인

Little MCAR 검정은 EM 추정으로 직접 계산하고, R `naniar::mcar_test` 결과와 대조해 통계량·자유도·p가 일치했어요. 일부러 넣은 문제(중복 행·999 코드·철자 변형·집단별 결측·하위 집단 방향 역전·군집)를 모두 찾는지 테스트로 확인해요.

이 방법에 대해

  • 왜 결론을 내지 않나요 데이터를 여러 방향으로 살피면 우연한 패턴도 반드시 보여요. 같은 데이터로 찾고 확인까지 하면 그 패턴이 진짜인지 알 수 없어요. 그래서 찾은 것은 "가설 후보"로만 두고, 살펴본 비교가 몇 개였는지 함께 적어요. 확인은 새 데이터나 미리 정한 검정(추론통계)으로 해요.
  • 왜 그림과 하위 집단을 보나요 요약 숫자가 같아도 데이터 모양은 전혀 다를 수 있고, 전체로는 관계가 없어 보여도 하위 집단마다 반대 방향일 수 있어요. 그래서 관련 지표 하나로 판단하지 않고 하위 집단과 그림을 함께 봐요.

자주 묻는 질문

데이터를 고쳐 주나요?
고치지 않아요. 정제 제안(무엇을, 왜)을 드려요. 결측 코드는 지정했을 때만 분석용 사본에서 결측으로 읽어요.
군집은 몇 개로 나누나요?
실루엣 점수로 2~8개 중 고르고, 뚜렷하지 않으면 "뚜렷한 군집 없음"이라고 써요.
큰 데이터도 되나요?
행이 5만을 넘으면 관계·구조·그림은 무작위 표본 5만 행으로 하고, 품질 점검은 전체로 해요.