表情分析

顔の動画または写真の表情を分析してください。1人でも複数の参加者でも構いません。ファイル(MP4・MOV・WEBM・JPG・PNG、複数はZIP)と、必要に応じて区間のタイミングを記したイベント表と参加者表を添付します。1人なら全体の表情分布(優勢表情・感情スコア・感情価と覚醒度・動作単位プロファイル)と時間変化(時間ビン・トレンド・表情エピソード・ピークの瞬間)、区間比較を、複数参加者なら各参加者のベースライン比での条件・群の比較を効果量とともにください。図に顔画像は含めず、指標表も添えてください。各ステップで実行したコードを表示してください。

表情分析: データを抽出・分析しています

顔の動画または写真をアップロードしてください。1人でも複数の参加者でも構いません。フレームごとに顔の動作単位(AU)と感情スコア、感情価・覚醒度を読み取り、1人なら表情の分布と時間変化を、複数参加者なら各参加者の普段の顔を基準にした条件・群の比較をレポートと指標表でお届けします。各ステップで実行したコードもチャットですぐに確認できます。

こんな方に

  • インタビュー・発話思考・視聴セッションで参加者1人の表情プロファイルを記述したい研究者
  • 広告・デザイン案・動画刺激への参加者の表情反応を条件ごとに比較したい研究者
  • ユーザビリティ録画で表情が変わった瞬間を探したいUX・HCI研究者
  • 手作業のFACSコーディングなしに動画・写真からAUレベルの表情指標が必要な大学院生

得られる結果

結果は2つです。レポートに解釈、指標表に数値があります。数値を生成したコードはチャットの各ステップにコードボックスとして残ります。

  • 表情分析レポート 分析の全過程と結果 · データ、動画品質(顔検出率・大きさ・顔の向き)、論文に転記できる方法段落;1人:全体の表情分布、時間変化(時間ビン・トレンド・エピソード・ピーク、Expertは変化点)、区間比較;複数参加者:条件・群ごとの指標(ベースライン比)、効果量付きの検定;図(顔写真なし)、解釈と限界、報告チェックリスト、参考文献 · MD(PDF・PNG変換エージェントで共有用PDFに)
  • 表情指標表 ファイル・時間ビン・区間・参加者・条件ごとの数値 · 1人:全体分布、優勢表情の割合、時間ビン、エピソード、ピーク、トレンド、区間、品質。複数参加者:ワイド表・ロング表(ベースライン比・生の値)、記述統計、検定、感度分析。シート数はレベルで増えます · XLSX(Excel・R・SPSSにそのまま取り込み)

レポートに含まれる指標

チャットの各ステップに、そのとき実行したコードがボックスとして残ります。クリックすると右側にコードと実行結果が表示されます。

  • 動作単位(AU) 眉上げ・眉下げ、頬上げ、笑顔(AU12)、口角下げ、唇の押し付け、顎開きなど17個 — ブレンドシェイプから変換した0–1の近似値
  • 感情スコア 幸福・驚き・悲しみ・怒り・嫌悪・恐れのプロトタイプスコア(EMFACS、コアAU必須)
  • 分布 優勢表情ごとのフレーム割合、各指標の平均・SD・中央値、感情価(−1〜1)、覚醒度(0〜1)、AU順位、表出量
  • 時間変化 時間ビンの平均、Spearmanトレンドと1分あたりの傾き、最初と最後の1/3の比較、表情エピソード(回数・長さ・開始時刻)、ピークの瞬間
  • 区間 区間・クリップごとの平均、ベースライン区間からの変化、フレームレベルのCliffのδ(記述的)
  • 品質 顔検出率、顔の大きさ、明るさ、顔の向きの割合
  • 統計(複数参加者) 参加者ベースラインからの変化、デザインに合った検定、効果量、Holm補正、除外基準

依頼の仕方

{添付ファイル}の表情を分析して — {見ること}。 — 下線部をあなたの研究に合わせて書き換えてください。

  • 添付ファイル:1人の動画や写真、または複数参加者の録画(P01_adA.mp4 … または参加者表)。複数はZIPでまとめられます。
  • 見ること:1人ならどの表情が主に現れ時間・区間でどう変わるか、複数参加者ならどの条件・群を比較するか。

一緒にあると良いもの

  • 1人の顔動画(MP4・MOV・WEBM、複数クリップはZIP) 顔が画面幅の10%以上で正面に近いほど正確です
  • イベント表(onset・duration・condition) 動画を区間に分けます。「baseline」区間を含めると平常時の顔からの変化も報告します
  • 参加者表(participant・group) ファイルを複数参加者のものとして扱い、群比較に使う群を与えます

こんな依頼もできます

  • このインタビュー参加者の表情をまとめて。何が主に現れ、いつ変わった? → 優勢表情の割合、感情価・覚醒度の時間経過、時刻付きのエピソード
  • 最初の30秒はベースライン、その後広告A(30–90秒)と広告B(90–150秒)を視聴。区間を比較して。 → ベースラインからの変化としての区間別平均、Cliffのδ、区間の図
  • このユーザビリティセッションの間に笑顔(AU12)は増えた?10秒ビンで見て。 → AU12のトレンド(Spearman ρ、1分あたりの傾き)、AU × 時間マップ
  • 広告AとBを見た20人の表情反応を比較して。最初の20秒はベースライン。 → 複数参加者:ベースライン比の感情価・AU12の対応比較、条件別AUマップ

マイ指示

録画ごとに区間・ベースライン・時間ビンの決め方は異なります。気になる項目だけ設定すれば、残りは既定値で動きます。名前を付けて保存すれば次回も使えます。 レポートの1ページ目に、どの指示が適用され何が仮定されたかを記します。

  • 区間 (データ) 動画を区間に分ける方法(刺激や質問のタイミングなど) · 例: 0–30秒ベースライン、30–90秒広告A、90–150秒広告B · 添付のevents.csvを使用 · 既定値: イベント表 → クリップごとに1区間(ファイル名) → 動画全体の順
  • ベースライン (データ) 平常時の顔とみなす区間。あれば区間の値をベースラインからの変化としても示します · 例: 'rest'区間 · 最初の20秒 · 既定値: baseline・neutral・restという名前の区間、なければ補正なし(生の値)
  • 対象の表記 (データ) レポートでこの人をどう呼ぶか(1人のデータ) · 例: 話者A · 参加者07 · 既定値: ファイル名から、なければP1
  • 1人・複数参加者 (データ) ファイルが1人の記録か複数参加者のものか。空欄ならデータから判断します · 例: すべて同じ人のクリップ · ファイルごとに別の参加者 · 既定値: 参加者表があるか、id のようなファイル名(P01_・P02_)が2つ以上なら複数参加者、なければ1人
  • 1つの録画に複数の顔 (データ) 画面に顔が2つ以上あるときの扱い · 例: 左の被面接者のみ · 顔ごとに参加者として · 最も大きい顔のみ · 既定値: Pro以上: 位置で追跡した人ごとに参加者に、Lite: 最も大きい顔のみ
  • 群 (データ) 複数参加者のときの参加者間の群(あれば) · 例: P01–P10はA群、P11–P20はB群 · 既定値: group列のある参加者表を添付していればそれ
  • 使用可能基準 (処理) 顔が検出されず動画を使えないと判断する基準 · 例: 顔が検出されないフレームが30%を超えたら中止 · 既定値: 顔が検出されたフレームが50%未満なら不可、80%未満なら注意
  • 分析窓 (処理) 区間ごとに分析する長さ · 例: 刺激ごとに最初の10秒のみ · 既定値: 区間全体
  • 時間ビン幅 (分析) 時間経過とビンごとの割合に使う時間ビンの幅 · 例: 10秒ごと · 既定値: 1分まで2秒、5分まで5秒、15分まで10秒、それ以上は30秒
  • 表情エピソード (分析) 表情エピソードとして数える基準(スコアと最小長) · 例: スコア0.5以上が1秒以上 · 既定値: スコア0.3以上が0.5秒以上、1フレームの欠落は許容
  • 主要指標 (分析) 時間変化・区間・条件・群の比較に使う指標 · 例: 笑顔(AU12)と驚きのみ · 既定値: 感情価、覚醒度、幸福、驚き、AU12(笑顔)、AU04(眉下げ);複数参加者では感情価・覚醒度・AU12・AU04を1ファミリーとしてHolm補正
  • 有意水準 (分析) 条件・群の検定のα(複数参加者) · 例: α = .01 · 既定値: α = .05
  • レポートの言語 (結果の形式) 作成する言語 · 例: 英語で作成 · 既定値: 依頼の言語

この方法で動きます

モデルが数値を推測することはありません。各ステップで分析スクリプトを実際に実行し、そのコードをチャットにボックスとして残します。モデルが担うのは、指示をパラメータに変換することと結果の解釈だけです。

  • データ確認 行うこと: ファイル(動画・写真)・参加者・区間・長さ・解像度を表に整理し、データから1人か複数参加者かを判断 · 決められること: 区間、ベースライン、1人・複数参加者、群 · 確認すること: 区間と1人/複数の判定
  • 動画品質チェック 行うこと: 毎秒1枚で顔検出率・顔の大きさ・明るさ・顔の向き・顔の数を見て合格/注意/不可を判定 · 決められること: 使用可能基準、複数の顔の扱い · 確認すること: 注意・不可のクリップ
  • 表情抽出 行うこと: フレームごとにブレンドシェイプ → AU近似、感情スコア、感情価・覚醒度、優勢表情;複数の顔は位置で追跡して人ごとに分けるか1人だけ残す · 決められること: 分析する人 · 確認すること: 顔が検出された割合、見つかった人物
  • 区間指標 行うこと: 区間ごとの平均、ベースライン区間があればそこからの変化も · 決められること: ベースライン、分析ウィンドウ · 確認すること: ベースラインが平常時の顔か
  • 分析 行うこと: 1人:優勢表情の割合、AUプロファイル、時間ビンの平均、トレンド、エピソード、ピーク(Expertは変化点・AUトレンド・文脈);複数参加者:デザインに合った検定、効果量、Holm補正(Pro以上) · 決められること: 時間ビン幅、エピソード基準、主要指標、有意水準 · 確認すること: 見直す瞬間や条件
  • 図 行うこと: 1人:感情価・覚醒度の時間経過、感情タイムライン、表情割合、AUプロファイル、区間;複数参加者:AU変化マップ、表情割合、条件比較(顔写真なし) · 決められること: — · 確認すること: 図の流れ
  • 解釈と限界 行うこと: 数値を変えずに表情パターンを記述し、感じた感情は断定しない · 決められること: — · 確認すること: 解釈の範囲
  • レポート 行うこと: レポート・指標表を保存 · 決められること: レポートの言語 · 確認すること: チェックリストの記入項目

レベルで変わること

対応ファイル形式

  • MP4 · MOV · WEBM · AVI · MKV · M4V 顔動画。1本に複数の顔があれば追跡して人ごとに分けます(下記参照)
  • ZIP 展開して中のファイルを読みます。1人のクリップか複数参加者の録画かはファイル名と表で判断します
  • イベント表 onset・duration・condition(秒)。動画を区間に分けます
  • JPG · PNG · WEBP · BMP · TIFF 写真1枚 = 1フレーム。1人の複数写真は区間として、複数参加者の写真は参加者 × 条件として比較します
  • このエージェント1つで対応します:1人でも複数参加者でも(参加者表やP01_・P02_のようなidのファイル名で判断、依頼に書いても可)、動画でも写真でも。複数人が同じ画面にいる場合、②が警告し、③が位置で顔を追跡します。Pro以上では人ごとに参加者(A、B、…左から)として分析し、「左の被面接者のみ」「最も大きい顔のみ」「最初に現れた顔」のように1人だけを選ぶこともできます。Liteは最も大きい顔のみ読みます。

方法について

  • 表情は感情ではありません 笑顔(AU12)が増えたことは測定できますが、その人がより楽しかったという意味ではありません。同じ感情でも人・状況・社会的ルールによって現れ方が異なります(Barrett et al., 2019)。そのためレポートは表情の動きを記述し、原因は観察記録・自己報告と合わせて解釈するよう案内します。
  • 分布と時間変化 まず動画全体を要約します。各フレームでどの表情が優勢だったか、どのくらいの頻度か、各指標の平均はいくつか。次に動画を時間ビンに切ってトレンド(Spearman ρ、1分あたりの傾き)を見て、感情スコアが基準以上に続いた区間を表情エピソードとして開始時刻とともに数えます。録画を見直す価値のある瞬間です。
  • ベースラインがあると良い理由 平常時の顔は人によって異なります。中立区間(例:最初の30秒)を指定すると、区間指標をそこからの変化としても示します。なければ生の値を報告します。
  • プライバシー 顔動画は機微な個人情報です。本人の同意の範囲内でのみアップロードしてください。レポートと図に顔写真は含みません。
  • ヒント 正面から、均一な明るさで、顔が画面幅の10%以上になるよう撮影してください。
  • 刺激・質問のタイミングをイベント表に記すと区間を比較できます。
  • 結果を受け取った後、チャットで続けて依頼できます。例:「10秒ビンで見て」「スコア0.5からエピソードとして数えて」
  • 1人か複数参加者か データから判断します。参加者表、イベント表のparticipant列、idのようなファイル名が2つ以上(P01_・P02_・sub-01)あれば複数参加者として条件・群を比較し、なければすべて1人の記録として分布と時間変化を記述します。依頼に書けばそれに従います。

よくある質問

FACSコーダーのスコアと同じですか?
いいえ。AUは顔のブレンドシェイプから変換した0–1の近似値で、人間のコーダーの0–5の強度とは尺度が異なります。1人の表情を時間に沿って追うのに適しています。
話している場面も分析されますか?
分析されますが、口周りのAU(顎開き・唇の開き)は発話で大きくなります。話している区間は分けるか、解釈で考慮してください。
複数の参加者を比較できますか?
はい。参加者ごとのファイル(P01_adA.mp4、P02_adA.mp4 … または参加者表)をアップロードすると、各参加者のベースラインを基準に条件・群を比較し、効果量とHolm補正を付けます(Pro以上、3人未満は記述統計のみ)。
同じ動画に2人いる場合は?
②が複数の顔がどれだけ頻繁に現れるかを報告します。Pro以上では③が位置で顔を追跡し、人ごとに参加者(A、B、…左から。短時間通り過ぎる人は除外)として分析し、条件・群の比較に切り替わります。1人だけ分析したい場合は「左の人だけ分析して」のように伝えてください。席を入れ替わると混ざることがあり、レポートにその旨を記します。
写真も分析できますか?
はい。写真1枚は1フレームです。表情分布とAUプロファイルを出し、複数の写真は平均差で比較します。時間変化は動画でのみ計算します。
うつ病や自閉症などの判断に使えますか?
いいえ。研究用の分析です。臨床判断には使わないでください。
Liteでは何が得られますか?
動画1本の1ページのプロファイルです。どの表情が優勢で感情価・覚醒度がどう動いたかを、図2枚と1シートの表で示します。区間比較・トレンド・エピソードと完全なレポートはProからです。
動画はどのくらいの長さまで?
アップロードは1ファイル1GBまでです。Liteは動画1本、Proは同じ人のクリップ10本、Expertは20本、Maxは50本まで一度に分析します。複数参加者のファイルは60(Pro)・120(Expert)・300(Max)、写真は10/100/200/500枚までです。