연구는 생각보다 자주 이미지 위에서 돌아갑니다. 확인하고 싶은 논문 속 그림, 일관되게 묘사해야 하는 자극, 소프트웨어 출력 화면을 찍은 스크린숏, 참가자 사진이 그렇습니다. 뉴트로픽은 이미지를 두 가지 방식으로 다룹니다. 모델이 이미지를 보고 무엇이 보이는지 말해 줄 수도 있고, 측정 도구가 이미지를 재서 숫자와 그 뒤의 코드를 돌려줄 수도 있습니다. 지금 어느 쪽을 받고 있는지 아는 것이 일의 대부분입니다.

이 글은 두 방식을 모두 다룹니다. 스크린숏은 새 채팅 두 개에서 가져왔습니다. 하나는 막대그래프를 읽었고, 하나는 사진 두 장을 측정했습니다.

이미지를 건네는 법

컴포저에서 업로드합니다(PNG, JPG, GIF, WebP). 업로드한 파일은 메시지에 @ 칩으로 붙고, 모델은 그 메시지와 함께 이미지를 봅니다.
이미 있는 이미지를 @로 언급합니다. 프로젝트에서 뉴트로픽이 앞서 만든 그림도 됩니다. 예를 들어 투고 전에 그래프에 대한 비평을 요청할 수 있습니다.

실무상 한계가 몇 가지 있습니다.

메시지 하나에 이미지는 최대 4장, 장당 4MB까지 붙습니다.
모델이 이미지를 지원해야 합니다. Gemini, Claude, GPT, Kimi 모델은 지원하고, DeepSeek 모델은 지원하지 않습니다. 이미지 질문에는 모델을 바꿔 주세요.
모델은 현재 메시지에 붙은 이미지만 봅니다. 이전에 올린 파일은 이름만 전달되고, 에이전트는 짐작하지 않고 @로 다시 붙여 달라고 요청합니다.

그림 읽기

흔한 요청을 예로 들어 보겠습니다. 논문이나 동료에게서 받은 막대그래프가 있고, 데이터 파일은 없습니다.

text

첨부한 그림 stroop_rt_figure.png 를 읽어 줘. 무엇을 보여 주는지, 축을 기준으로 막대마다 평균과 오차 막대 값을 어림하고, 어떤 패턴을 시사하는지, 그리고 이 그림만으로는 알 수 없는 것이 무엇인지 정리해 줘.

그림은 저희가 직접 그렸기 때문에 참값을 알고 있습니다. 일치 조건은 512 ms와 505 ms, 불일치 조건은 598 ms와 561 ms이고, 표준오차는 각각 14, 13, 17, 15 ms입니다.

그림을 읽는 채팅. 이미지가 @ 칩으로 붙은 요청 아래에 에이전트의 답이 이어집니다.

이 실행에서 에이전트는 그림을 보고 읽었습니다. 막대마다 약 512, 505, 598, 561 ms, 표준오차는 약 14, 13, 17, 15 ms로 어림했고, 그림을 그릴 때 쓴 값과 같았습니다. 같은 요청을 영어로 보낸 다른 실행에서는 에이전트가 한 걸음 더 나아가, 샌드박스에서 이미지를 불러 축 눈금을 찾고 픽셀을 밀리초로 보정해 막대 끝을 쟀습니다. 그 추정치는 511.2, 504.3, 597.3, 560.4 ms로, 모두 참값과 1 ms 안이었고 코드가 답과 함께 저장됐습니다.

답에서 더 쓸모 있는 절반은 그림이 말해 주지 못하는 부분인 경우가 많습니다.

이 그림만으로는 알 수 없는 점. 검정 통계량과 효과크기가 없고, 정확도 자료가 없어 속도-정확도 상충을 판단할 수 없습니다.

두 가지를 조심하세요. 첫째, 그래프에서 읽은 값은 추정치입니다. 논문을 점검하기에는 충분하지만 데이터를 대신할 수는 없습니다. 메타분석에 쓸 값이라면 전용 디지타이저로 추출하고 그렇게 했다고 보고하세요. 둘째, 모델이 시각적 판독에 붙이는 '확신도'는 보정된 측정값이 아닙니다. 대신 근거를 물어보세요.

사진 측정하기

보고할 수 있는 숫자가 필요할 때는 측정 도구를 씁니다. 영상을 다루는 데이터 분석 요청이 사진에도 그대로 통합니다.

text

/analyze 첨부한 사진 두 장을 측정해 줘. pose_yoga.jpg 는 자세 추정(관절 각도·자세·랜드마크 오버레이), face_smile.jpg 는 표정 측정(액션 유닛·감정·머리 자세). 수치를 짧게 정리해 줘.

사진 두 장을 측정하는 채팅. 두 이미지가 붙은 요청 아래로 Face Expression과 Pose Estimate 단계가 이어지고, 포즈 오버레이가 열려 있습니다.

pose_estimate는 신체 랜드마크 33개를 찾아 관절 각도, 자세, 팔 위치, 몸통 기울기, 정면 여부와 오버레이 이미지를 돌려줍니다. 자세 분석을 참고하세요.
face_expression은 0–1 척도의 얼굴 액션 유닛 17개, 감정 라벨, 머리 자세를 돌려줍니다. 표정 분석을 참고하세요.

두 도구는 같은 이미지에 대해 언제나 같은 숫자를 계산합니다. 이미지마다 표를 저장하고, 보고서 문장에는 각 숫자 뒤의 도구 호출을 가리키는 [n] 인용이 붙습니다.

![사진 측정 보고서. 문장마다 pose_estimate와 face_expression 단계를 가리키는 [n] 인용이 붙어 있습니다.](/blog/image-analysis/cited-report.png)

보기와 재기: 언제 무엇을 쓰나

보기(비전)는 묘사하고, 비교하고, 문제를 찾고, 글자나 대략적인 값을 읽을 때 씁니다. 그림, 자극, 소프트웨어 출력 스크린숏, 슬라이드 초안, UX 연구의 인터페이스 화면이 대표적입니다.
재기(도구)는 숫자가 결과에 들어갈 때 씁니다. AU 강도, 관절 각도, 참가자 사이에서 비교할 모든 값이 여기에 해당합니다.
둘을 함께 쓰세요. 오버레이가 맞는 사람에게 그려졌는지는 모델에게 확인시키고, 보고는 도구의 각도로 합니다.

이 구분이 왜 중요한지는 초기 내부 점검에서 드러났습니다. 측정 도구가 생기기 전, 같은 사진 두 장을 읽은 모델은 내용(웃는 얼굴, 팔을 내리고 선 사람)은 맞게 묘사했지만, 아무것도 재지 않은 '확신도 98%'를 붙였습니다. 지금은 데이터 분석 스킬이 에이전트에게 도구 값을 그대로 인용하게 하고, 도구에서 나오지 않은 값은 측정값으로 보지 않습니다.

연구에서의 쓰임

그림 점검. 심사하거나 인용할 논문의 그림을 확인하고, 투고 전에 내 그림을 비평받습니다.
자극 세트. 이미지 자극을 일관되게 묘사하거나, 얼굴 자극 세트의 표정 값을 측정합니다.
스크린숏. 내보낸 파일이 없을 때 소프트웨어 출력의 통계표를 읽고, 데이터가 돌아오면 제대로 다시 확인합니다.
참가자 사진. 한 순간의 자세나 표정을 재서 표로 남깁니다.

한계를 분명히

비전은 측정이 아닙니다. 모델의 판독은 추정이며 틀릴 수 있습니다. 작은 글자, 빽빽한 그래프, 잘린 축에서 특히 그렇습니다.
메시지당 이미지 4장, 장당 4MB, 그리고 이미지를 지원하는 모델에서만 됩니다.
사진에 쓰는 측정 도구는 영상과 같은 한계를 가집니다. 자세 각도는 2차원이고, AU는 블렌드셰이프 근사이며, 이미지마다 사람이나 얼굴 하나만 봅니다.
GIF는 모델이 읽을 수 있지만 측정 도구는 받지 않습니다. 측정에는 PNG, JPG, WebP를 쓰세요.

사람이 나오는 사진: 동의와 개인정보

첫 업로드 전에 뉴트로픽은 연구 데이터를 올리기 전에 안내를 보여 줍니다. 데이터 처리에 필요한 권리, 동의, 승인(IRB나 윤리위원회 등)을 갖췄는지 확인하는 단계입니다. 분석마다 어디서 실행되는지도 알아 두세요. 측정 도구는 뉴트로픽 서버에서 실행되고 모델에게는 숫자를 넘깁니다. 모델이 이미지를 볼 때는 이미지 자체가 선택한 모델 제공자에게 전송됩니다. 업로드는 삭제할 때까지 비공개 작업 공간에 남으며 학습에 쓰이지 않습니다. 자세한 내용은 개인정보처리방침에 있습니다.