뉴트로픽으로 불균형 데이터에서 정확도에 속지 않는 법: 정확도 95%의 함정을 가상 데이터로 확인하기

양성이 5%인데 정확도가 95%라면, 모델이 아무것도 못 찾고 있을 수도 있습니다. 박사과정 하은 씨가 질문 한 문단으로 가상 데이터 비교, 지표별 결과표, 평가 절차, 근거 문헌까지 받아 가는 과정을 실제 화면으로 따라가 봅니다.

안녕하세요, 뉴트로픽 팀입니다!

학생 중도 탈락을 미리 찾아내는 모델을 만들었다고 해 볼게요. 결과를 돌려 보니 정확도가 95%. 지도교수님께 보여 드리기 전에, 문득 불안해집니다. 탈락하는 학생은 전체의 5%쯤인데, 그렇다면 "아무도 탈락하지 않는다"고 찍어도 정확도가 95% 아닌가? 🥲

맞아요. 양성이 드문 문제에서는 정확도가 거의 아무것도 말해 주지 않습니다. 그렇다고 무엇을 대신 봐야 하는지, 클래스 가중치나 리샘플링은 언제 써야 하는지, 기준점은 어떻게 정하는지까지 한 번에 정리하기는 쉽지 않죠.

이 글에서는 교육학 박사과정 하은 씨가 이 불안을 확인하고 평가 방법을 다시 세우는 과정을 따라가 봅니다. 하은 씨는 가상의 인물이지만, 아래 화면은 모두 뉴트로픽에서 실제로 실행한 채팅이에요.

의심을 그대로 질문으로 옮겼습니다

하은 씨는 자기 데이터를 올리지 않았어요. 상황과 의심, 원하는 형태만 적었습니다.

양성 비율이 5%쯤인 이진 분류 문제인데 정확도가 95%가 나와. 이런 불균형 데이터에서 모델을 어떻게 평가하고 학습해야 해? 파이썬으로 할 거고, 가상 데이터로 실제로 돌려서 비교해 줘.

좋은 요청인 이유는 세 가지예요. 양성 비율(5%)과 지금 본 숫자(정확도 95%)가 들어 있어서 무엇이 문제인지 바로 드러납니다. 평가와 학습을 둘 다 물었고요. 그리고 "가상 데이터로 실제로 돌려서 비교해 줘"라고 적어서, 설명만이 아니라 실행한 결과를 받게 됩니다.

요청 아래로 방법 지침 찾기·읽기, 코드 실행, 결과 되읽기, 문헌 검색 단계가 차례로 쌓입니다.
요청 아래로 방법 지침 찾기·읽기, 코드 실행, 결과 되읽기, 문헌 검색 단계가 차례로 쌓입니다.

답하기 전에 scikit-learn 지침부터 읽었습니다

화면에 단계가 쌓였어요. 방법 지침 찾기로 불균형 분류 평가에 맞는 지침을 찾고, 방법 지침 읽기로 scikit-learn 지침을 읽었습니다. 이어서 코드 실행으로 가상 데이터 비교를 돌리고, 결과를 다시 읽은 뒤 PubMed와 Crossref에서 정밀도·재현율 평가에 관한 문헌을 검색했어요.

같은 테스트 세트에서 세 가지를 비교했습니다

시드 42로 만든 양성 5%의 가상 데이터 20,000건을 층화 분할했고, 테스트 세트에는 양성 300건, 음성 5,700건이 들어갔어요. 여기서 세 가지를 비교했습니다.

  • 전부 음성으로 예측: 정확도 0.950, 양성은 하나도 못 찾음
  • 기본 로지스틱 회귀(기준점 0.5): 정확도 0.965, 정밀도 0.960, 재현율 0.317, PR-AUC 0.575
  • 클래스 가중치 로지스틱 회귀(기준점 0.5): 정확도 0.806, 정밀도 0.167, 재현율 0.723, PR-AUC 0.448
모델별 정확도·정밀도·재현율·F1·PR-AUC·혼동행렬 비교표.
모델별 정확도·정밀도·재현율·F1·PR-AUC·혼동행렬 비교표.

여기서 하은 씨가 하마터면 실수할 뻔했어요. 기본 모델의 정확도는 0.965로, 전부 음성(0.950)보다 높습니다. "기준선은 넘었네" 하고 넘어가기 쉬운데, 실제 양성 300건 중 95건만 찾았어요. 그럼 가중치를 주면 해결될까요? 가중치 모델은 217건을 찾았지만 거짓 양성이 1,079건으로 늘었고, PR-AUC는 오히려 더 낮았습니다. 답은 이 점을 분명히 짚어요. 가중치 조정이 언제나 성능을 높인다고 볼 수는 없고, 양성을 놓치는 비용과 오경보 비용에 맞춰 골라야 한다고요.

평가 절차를 하나씩 정리해 줬습니다

표 아래에는 실제로 어떻게 평가하고 학습할지가 정리돼 있었어요.

  • 양성 정밀도·재현율, F1, 혼동행렬을 보고, 순위 성능은 PR 곡선과 PR-AUC로 비교하기. 단 PR-AUC의 기준선은 양성 비율에 따라 움직인다는 점을 함께 해석하기
  • 데이터를 나눌 때 stratify=y를 쓰고, 같은 사람·기관의 반복 관측이면 그룹 단위로, 미래 예측이면 시간 순서로 나누기
  • 기준점은 학습에 쓰지 않은 검증 데이터에서 정하고, 최종 테스트 세트는 마지막 평가에만 쓰기
  • 오버샘플링은 학습 데이터에만, 교차검증에서는 각 fold의 학습 부분 안에서만 하기
평가와 학습 방법 — 지표, 층화·그룹 분할, 기준점 선택, 리샘플링 위치.
평가와 학습 방법 — 지표, 층화·그룹 분할, 기준점 선택, 리샘플링 위치.

붙어 온 코드는 직접 돌려 봤습니다

답에는 "재현 코드" 63줄이 붙어 있었어요. 카드를 누르면 오른쪽 창에 코드가 열리고, 복사 버튼으로 바로 가져갈 수 있습니다.

저희가 이 코드를 그대로 돌려 봤는데, 솔직히 말하면 표와 숫자가 똑같이 나오지는 않았어요. 테스트 세트의 양성이 300건이 아니라 327건으로 잡혔고, 재현율은 기본 모델 0.352, 가중치 모델 0.783이었습니다. 표의 숫자는 실행 단계에서 나온 값이지만, 붙어 온 코드는 설정이 조금 다른 판으로 보여요. 다만 결론의 방향은 같았습니다. 기본 모델은 정밀도가 높고 재현율이 낮았고, 가중치 모델은 그 반대였으며, PR-AUC는 가중치 모델이 더 높지 않았어요. 코드를 가져다 쓸 때는 직접 한 번 돌려 숫자를 확인하는 습관을 들이세요.

답에 붙은 63줄 코드. 오른쪽 창에서 전체를 복사할 수 있습니다.
답에 붙은 63줄 코드. 오른쪽 창에서 전체를 복사할 수 있습니다.

근거로 쓴 문헌도 함께 남았습니다

참고문헌 카드를 누르면 8건이 표로 열립니다. 비용을 반영한 기준점 조정과 기준점 튜닝에 관한 scikit-learn 문서, 지표 문서, 오버샘플링 도구의 흔한 실수 안내, 불균형 데이터에서는 PR 곡선이 ROC 곡선보다 더 많은 정보를 준다는 논문 등이에요.

답은 확인하지 못한 것도 숨기지 않았어요. 공식 문서 페이지는 읽을 수 있었지만 PubMed 페이지는 본문을 직접 확인하지 못했고, 논문 인용은 검색 결과의 서지 정보에 근거했다고 적혀 있습니다.

답에 인용한 문헌 8건. 인용 형식으로 바로 복사할 수 있습니다.
답에 인용한 문헌 8건. 인용 형식으로 바로 복사할 수 있습니다.

다음에 할 일까지 제안받았습니다

답 맨 아래에는 이어서 할 일 세 가지가 있었어요.

  1. 기본 모델과 가중치 모델의 PR 곡선, ROC 곡선, 기준점별 혼동행렬을 한 그림과 표로 비교하기
  2. 임상·상담·교육 선별 상황에서 재현율 목표와 거짓 양성 비용을 반영해 기준점을 정하는 절차 구체화하기
  3. 관련 연구에서 불균형 자료의 예측모형 평가와 기준점 선택을 어떻게 보고하는지 문헌 검색·종합하기 — 서술적 문헌고찰 에이전트

누르면 같은 대화에서 바로 이어집니다. 탈락 위험 학생을 놓치는 비용이 큰 하은 씨라면 두 번째부터 누르겠죠.

답 아래의 다음 단계 제안. 누르면 같은 대화에서 이어집니다.
답 아래의 다음 단계 제안. 누르면 같은 대화에서 이어집니다.

정확도 95%라는 숫자를 다시 읽게 됐습니다

시작할 때지금
판단 기준정확도 95%정밀도·재현율·PR-AUC·혼동행렬
비교내 모델 하나전부 음성·기본·가중치 모델을 같은 테스트 세트에서
학습 방법가중치를 주면 나아질 거라 기대가중치는 재현율과 오경보를 맞바꾼다는 것을 확인
절차무작위로 나누고 바로 평가층화·그룹 분할, 검증 데이터에서 기준점, fold 안에서만 리샘플링
근거블로그 글 몇 개공식 문서와 논문 8건, 다음 단계 제안

물론 가상 데이터로 해 본 예시예요. 실제 양성 비율이나 데이터 구조가 다르면 결과도 달라지고, 답도 실제 성능을 보장하지 않는다고 적었습니다. 위에서 말했듯 붙어 온 코드는 표의 숫자를 그대로 재현하지 못했으니, 숫자보다 비교 방식을 가져가세요.

이 글은 프로 수준으로 실행했어요. 라이트(무료 요금제)는 시뮬레이션 없이 지표를 설명하고, 전문가는 여기에 리샘플링 방법 비교와 확률 보정을 더합니다.

양성이 드문 문제라면, 정확도보다 "몇 건을 찾고 몇 건을 놓쳤는가"부터 보세요.

이번 주에 하은 씨처럼 지금 본 숫자와 의심을 그대로 적어 물어보세요. 뉴트로픽 무료로 시작하기

블로그의 다른 글