研究は思っている以上に画像の上で進みます。確かめたい論文の図、統一して説明したい刺激、ソフトウェアの出力画面のスクリーンショット、参加者の写真などです。Neutropic は画像を 2 つの方法で扱います。モデルが画像を見て何が写っているかを説明することもあれば、計測ツールが画像を測って数値とその裏のコードを返すこともあります。いまどちらを受け取っているのかを知ることが、仕事の大半です。

この記事では両方を扱います。スクリーンショットは 2 つの新しいチャットから撮りました。1 つは棒グラフを読み、もう 1 つは写真 2 枚を計測したものです。

画像の渡し方

入力欄からアップロードします（PNG、JPG、GIF、WebP）。アップロードしたファイルはメッセージに @ チップとして付き、モデルはそのメッセージと一緒に画像を見ます。
既存の画像を @ で指定します。 プロジェクトで Neutropic が以前に作った図も使えます。たとえば投稿前にグラフの講評を頼むときです。

実用上の制限がいくつかあります。

1 つのメッセージに付けられる画像は最大 4 枚、1 枚 4 MB までです。
モデルが画像に対応している必要があります。Gemini、Claude、GPT、Kimi のモデルは対応していますが、DeepSeek のモデルは対応していません。画像についての質問ではモデルを切り替えてください。
モデルが見るのは、いまのメッセージに付いた画像だけです。以前にアップロードしたファイルは名前だけが伝わり、エージェントは推測せずに @ で付け直すよう頼みます。

図を読む

よくある依頼を例にします。論文や同僚からもらった棒グラフがあり、データファイルはありません。

text

添付した図 stroop_rt_figure.png を読んでください。何を示しているか、軸から各棒の平均とエラーバーを読み取り、どんなパターンを示唆するか、そしてこの図だけではわからないことを挙げてください。

この図は私たちが自分で描いたので、正解の値が分かっています。一致条件は 512 ms と 505 ms、不一致条件は 598 ms と 561 ms で、標準誤差はそれぞれ 14、13、17、15 ms です。

図を読むチャット。画像が @ チップで付いた依頼の下に、エージェントの回答が続きます。

この実行では、エージェントは図を見て読み取りました。各棒を約 512、505、598、561 ms、標準誤差を約 14、13、17、15 ms と読み、図を描いたときの値と一致しました。同じ依頼を英語で送った別の実行では、エージェントはさらに踏み込み、サンドボックスで画像を読み込んで軸の目盛りを探し、ピクセルをミリ秒に較正して棒の上端を測りました。その推定値は 511.2、504.3、597.3、560.4 ms で、いずれも正解から 1 ms 以内に収まり、コードは回答とともに保存されました。

回答のうち、より役に立つのは図が語れない部分であることがよくあります。

この図だけではわからないこと。エラーバーは ±1 SE で交互作用の有意性は判断できず、正答率のデータもないため速さと正確さのトレードオフも判断できません。

注意点が 2 つあります。まず、グラフから読んだ値は推定値です。論文を確かめるには十分ですが、データの代わりにはなりません。メタ分析に使うなら専用のデジタイザで抽出し、その旨を報告してください。次に、モデルが視覚的な読み取りに付ける「確信度」は較正された測定値ではありません。代わりに根拠を尋ねてください。

写真を計測する

報告できる数値が必要なときは、計測ツールを使います。動画を扱うデータ分析の依頼が、写真にもそのまま使えます。

text

/analyze 添付した2枚の写真を計測してください。pose_yoga.jpg は姿勢推定（関節角度・姿勢・ランドマークのオーバーレイ）、face_smile.jpg は表情計測（アクションユニット・感情・頭部姿勢）。数値を簡潔にまとめてください。

写真 2 枚を計測するチャット。2 枚の画像が付いた依頼の下に Pose Estimate と Face Expression のステップが続き、ポーズのオーバーレイが開いています。

pose_estimate は身体ランドマーク 33 点を検出し、関節角度、姿勢、腕の位置、体幹の傾き、向き、オーバーレイ画像を返します。姿勢分析を参照してください。
face_expression は 0–1 スケールの顔のアクションユニット 17 個、感情ラベル、頭部姿勢を返します。表情分析を参照してください。

どちらのツールも、同じ画像からは毎回同じ数値を計算します。画像ごとに表を保存し、レポートの文には各数値の裏にあるツール呼び出しを指す [n] 引用が付きます。

![写真計測のレポート。文ごとに pose_estimate と face_expression のステップを指す [n] 引用が付いています。](/blog/image-analysis/cited-report.png)

見るか、測るか：どちらを使うか

見る（ビジョン）のは、説明する、比べる、問題を見つける、文字やおおよその値を読むときです。図、刺激、ソフトウェア出力のスクリーンショット、スライドの下書き、UX 研究の画面などが典型です。
測る（ツール）のは、数値が結果に入るときです。AU の強度、関節角度、参加者間で比べるあらゆる値がこれにあたります。
組み合わせましょう。 オーバーレイが正しい人に描かれているかはモデルに確かめさせ、報告にはツールの角度を使います。

この区別がなぜ大切かは、初期の社内チェックで分かりました。計測ツールができる前、同じ写真 2 枚を読んだモデルは、内容（笑顔、腕を下ろして立つ人）は正しく説明しましたが、何も測っていない「確信度 98%」を付けていました。いまはデータ分析スキルがエージェントにツールの値をそのまま引用させ、ツールから出ていない値は測定値として扱いません。

研究での使いどころ

図の確認。 査読や引用する論文の図を確かめ、投稿前に自分の図の講評を受けます。
刺激セット。 画像刺激を一貫した言葉で説明したり、顔刺激セットの表情の値を計測したりします。
スクリーンショット。 エクスポートしたファイルがないときにソフトウェア出力の統計表を読み、データが戻ったらあらためて確認します。
参加者の写真。 ある瞬間の姿勢や表情を測り、表に残します。

限界をはっきりと

ビジョンは計測ではありません。 モデルの読み取りは推定であり、間違うことがあります。小さな文字、密なグラフ、途中から始まる軸では特にそうです。
1 メッセージにつき画像 4 枚、1 枚 4 MB までで、画像に対応したモデルでのみ使えます。
写真に使う計測ツールには動画と同じ限界があります。姿勢の角度は 2 次元で、AU はブレンドシェイプからの近似であり、1 枚につき 1 人または 1 つの顔しか扱いません。
GIF はモデルは読めますが、計測ツールは受け付けません。計測には PNG、JPG、WebP を使ってください。

人が写った写真：同意とプライバシー

最初のアップロードの前に、Neutropic は 研究データをアップロードする前に という案内を表示します。データの処理に必要な権利、同意、承認（IRB や倫理委員会など）がそろっていることを確認する手順です。それぞれの分析がどこで動くかも押さえておきましょう。計測ツールは Neutropic のサーバーで動き、モデルには数値だけを渡します。モデルが画像を見るときは、画像そのものが選んだモデル提供者に送られます。アップロードは削除するまで非公開のワークスペースに残り、学習には使われません。詳しくはプライバシーポリシーをご覧ください。