面部表情分析

分析面部视频或照片中的表情——一个人或多名被试均可。我会附上文件(MP4、MOV、WEBM、JPG、PNG;多个打包为ZIP),必要时附上记录区间时间的事件表和被试表。一个人时,请给出整体表情分布(主导表情、情绪得分、效价与唤醒度、动作单元轮廓)、随时间的变化(时间分箱、趋势、表情片段、峰值时刻)和区间比较;多名被试时,请相对每位被试的基线比较条件与组别并给出效应量。图表不含面部图像,并附指标表。每一步都显示所运行的代码。

面部表情分析: 正在提取和分析数据

请上传面部视频或照片——一个人或多名被试都可以。我们会逐帧读取面部动作单元(AU)、情绪得分以及效价和唤醒度:一个人时给出表情分布与随时间的变化,多名被试时以每位被试平常面部为基准比较条件与组别,并提供报告和指标表。每一步运行的代码也可以直接在聊天中查看。

适合谁

  • 希望描述访谈、出声思维或观看环节中单个被试表情特征的研究者
  • 希望按条件比较被试对广告、设计方案或视频刺激的面部反应的研究者
  • 想在可用性测试录像中找到表情变化时刻的UX与HCI研究者
  • 需要从视频或照片获得AU级表情指标、又不想手工做FACS编码的研究生

你会得到

结果有两项:报告中是解读,指标表中是数字。生成这些数字的代码保留在聊天每一步的代码框中。

  • 面部表情分析报告 完整的分析过程与结果 · 数据、视频质量(面部检出率、面部大小、转头)、可直接写入论文的方法段落;一个人:整体表情分布、随时间的变化(时间分箱、趋势、片段、峰值,Expert含变化点)、区间比较;多名被试:各条件与组别的指标(相对基线)、含效应量的检验;图表(不含面部图像)、解读与局限、报告清单、参考文献 · MD(可用转换智能体生成分享用PDF)
  • 表情指标表 各文件、时间分箱、区间、被试和条件的数字 · 一个人:整体分布、主导表情占比、时间分箱、片段、峰值、趋势、区间、质量。多名被试:宽表与长表(相对基线和原始值)、描述统计、检验、敏感性。工作表数量随级别增加 · XLSX(可直接导入Excel、R或SPSS)

报告中的指标

聊天的每一步都会以代码框保留当时运行的代码。点击即可在右侧查看代码及其输出。

  • 动作单元(AU) 抬眉、皱眉、提颊、微笑(AU12)、嘴角下拉、抿唇、张颌等17个——由混合形状转换的0–1近似值
  • 情绪得分 高兴、惊讶、悲伤、愤怒、厌恶、恐惧的原型得分(EMFACS,需核心AU)
  • 分布 各主导表情的帧占比,各指标的均值、SD、中位数,效价(−1至1),唤醒度(0至1),AU排序,表达量
  • 随时间变化 时间分箱均值、Spearman趋势与每分钟斜率、前后1/3比较、表情片段(次数、时长、起始时间)、峰值时刻
  • 区间 各区间或片段的均值、相对基线区间的变化、帧级Cliff's δ(描述性)
  • 质量 面部检出率、面部大小、亮度、转头占比
  • 统计(多名被试) 相对每位被试基线的变化、与设计匹配的检验、效应量、Holm校正、排除标准

如何提问

分析{所附文件}中的面部表情——{要看什么}。 — 把下划线部分替换为你的研究内容。

  • 所附文件:一个人的视频或照片,或多名被试的录像(P01_adA.mp4 … 或被试表)。多个文件可打包为ZIP。
  • 要看什么:一个人时看哪些表情占主导、随时间或区间如何变化;多名被试时看比较哪些条件或组别。

建议一并上传

  • 一个人的面部视频(MP4、MOV、WEBM;多个片段用ZIP) 面部接近正面且宽度不少于画面宽度的10%时最准确
  • 事件表(onset、duration、condition) 将视频划分为区间;若包含“baseline”区间,还会报告相对平常面部的变化
  • 被试表(participant、group) 将文件标记为多名被试,并提供组间比较所用的组别

你也可以这样问

  • 总结这位受访者的表情:哪些占主导,什么时候发生了变化? → 主导表情占比、效价与唤醒度的时间进程、带时间戳的片段
  • 前30秒是基线,然后观看广告A(30–90秒)和广告B(90–150秒)。比较各区间。 → 相对基线的各区间均值、Cliff's δ、区间图
  • 在这次可用性测试过程中微笑(AU12)增加了吗?用10秒分箱来看。 → AU12趋势(Spearman ρ、每分钟斜率)、AU × 时间图
  • 比较20名观众对广告A和广告B的面部反应。前20秒为基线。 → 多名被试:相对基线的效价与AU12配对比较、各条件AU图

我的指令

不同录像的区间、基线和时间分箱设定各不相同。只需设置你关心的项目,其余按默认值运行。命名保存后下次可直接使用。 报告首页会列出应用了哪些指令以及做了哪些假设。

  • 区间 (数据) 将视频划分为区间的方法(如刺激或提问时间) · 例如: 0–30秒基线,30–90秒广告A,90–150秒广告B · 使用所附events.csv · 默认: 按事件表 → 每个片段一个区间(文件名) → 整段视频的顺序
  • 基线 (数据) 视为平常面部表情的区间。如有,区间值也会以相对基线的变化给出 · 例如: 'rest'区间 · 前20秒 · 默认: 名为baseline、neutral或rest的区间,若无则不校正(原始值)
  • 对象标注 (数据) 报告中如何称呼这个人(单人数据) · 例如: 说话者A · 被试07 · 默认: 取自文件名,否则为P1
  • 一个人 · 多名被试 (数据) 文件是一个人的记录还是多名被试的。留空则由数据判断 · 例如: 全部是同一个人的片段 · 每个文件是不同被试 · 默认: 有被试表或≥2个类似id的文件名(P01_、P02_)则为多名被试,否则为一个人
  • 一段录像中有多张面孔 (数据) 画面中有两张以上面孔时如何处理 · 例如: 只分析左侧的受访者 · 每张面孔视为一名被试 · 只分析最大的面孔 · 默认: Pro及以上:按位置追踪的每个人视为一名被试;Lite:只取最大的面孔
  • 组别 (数据) 多名被试时的被试间组别(如有) · 例如: P01–P10为A组,P11–P20为B组 · 默认: 如附有含group列的被试表则使用该表
  • 可用标准 (处理) 因未检测到面部而判定视频不可用的标准 · 例如: 未检测到面部的帧超过30%时停止 · 默认: 检测到面部的帧低于50%为不可用,低于80%为警告
  • 分析窗 (处理) 每个区间要分析的时长 · 例如: 每个刺激只取前10秒 · 默认: 整个区间
  • 时间分箱宽度 (分析) 用于时间进程和分箱占比的时间分箱宽度 · 例如: 每10秒 · 默认: 1分钟内2秒,5分钟内5秒,15分钟内10秒,更长则30秒
  • 表情片段 (分析) 计为表情片段的标准(分数和最短时长) · 例如: 分数0.5以上持续至少1秒 · 默认: 分数≥0.3持续≥0.5秒,允许缺失一帧
  • 主要指标 (分析) 用于时间变化、区间、条件与组别比较的指标 · 例如: 仅微笑(AU12)和惊讶 · 默认: 效价、唤醒度、高兴、惊讶、AU12(微笑)、AU04(皱眉);多名被试时效价、唤醒度、AU12、AU04作为一个族进行Holm校正
  • 显著性水平 (分析) 条件与组别检验的α(多名被试) · 例如: α = .01 · 默认: α = .05
  • 报告语言 (结果格式) 撰写语言 · 例如: 用英语撰写 · 默认: 请求的语言

工作方式

模型不会猜测任何数字。每一步都会实际运行分析脚本,并把代码以代码框留在聊天中。模型只负责把你的指令转为参数并解读结果。

  • 检查数据 做什么: 列出文件(视频与照片)、被试、区间、时长和分辨率,并根据数据判断是一个人还是多名被试 · 可设置: 区间、基线、一个人或多名被试、组别 · 需确认: 区间以及一人/多人的判定
  • 检查视频质量 做什么: 每秒1帧:面部检出率、面部大小、亮度、转头和画面中的面孔数;通过/警告/不可用 · 可设置: 可用标准、多张面孔的处理 · 需确认: 警告与不可用的片段
  • 提取表情 做什么: 逐帧:混合形状 → 近似AU、情绪得分、效价与唤醒度、主导表情;多张面孔按位置追踪并分成不同的人(或只保留一人) · 可设置: 要分析的人 · 需确认: 检出面部的帧占比、找到的人物
  • 区间指标 做什么: 各区间均值,有基线区间时也给出相对基线的变化 · 可设置: 基线、分析窗 · 需确认: 基线是否为平常面部
  • 分析 做什么: 一个人:主导表情占比、AU轮廓、时间分箱均值、趋势、片段、峰值(Expert含变化点、AU趋势、情境);多名被试:与设计匹配的检验、效应量、Holm校正(Pro及以上) · 可设置: 时间分箱、片段标准、主要指标、显著性水平 · 需确认: 值得回看的时刻或条件
  • 绘图 做什么: 一个人:效价与唤醒度时间进程、情绪时间线、表情占比、AU轮廓、区间;多名被试:AU变化图、表情占比、条件比较(不含面部图像) · 可设置: — · 需确认: 图表
  • 解读与局限 做什么: 在不改动任何数字的前提下描述表情模式,不断言感受到的情绪 · 可设置: — · 需确认: 解读的范围
  • 撰写报告 做什么: 保存报告和指标表 · 可设置: 报告语言 · 需确认: 清单中留给你填写的项目

不同级别的差异

文件格式

  • MP4 · MOV · WEBM · AVI · MKV · M4V 面部视频;一段视频中有多张面孔时会追踪并分开(见下文)
  • ZIP 解压后读取其中的文件;是一个人的片段还是多名被试的录像由文件名和表格决定
  • 事件表 onset、duration、condition(秒);将视频划分为区间
  • JPG · PNG · WEBP · BMP · TIFF 一张照片 = 一帧。一个人的多张照片按区间比较,多名被试的照片按被试 × 条件比较
  • 一个智能体全部处理:一个人或多名被试(由被试表或P01_、P02_等类似id的文件名判断,也可在请求中说明),视频或照片。若画面中有多人,②会给出警告,③按位置跨帧追踪面孔:Pro及以上每个人成为一名被试(A、B、…从左到右),也可以只选一个人(“只分析左侧的受访者”“最大的面孔”“最先出现的面孔”)。Lite只读取最大的面孔。

关于方法

  • 表情不等于情绪 可以测量微笑(AU12)的增加,但这并不意味着这个人更开心。同一种情绪在不同人、情境和社会规则下表现不同(Barrett et al., 2019)。因此报告描述面部动作,并提示你结合观察记录和自我报告来解读原因。
  • 分布与随时间变化 先总结整段视频:每帧哪个表情占主导、出现多频繁、各指标均值多少。然后把视频切成时间分箱来看趋势(Spearman ρ、每分钟斜率),并把情绪得分持续高于标准的区段计为表情片段,连同起始时间一起记录——这些是录像中值得回看的时刻。
  • 为什么基线有帮助 平常面部因人而异。若标出中性区间(如前30秒),区间指标也会以相对它的变化给出。没有基线则报告原始值。
  • 隐私 面部视频属于敏感个人数据。请仅在本人同意范围内上传。报告和图表不含面部图像。
  • 提示 正面拍摄、光线均匀、面部宽度不少于画面宽度的10%。
  • 用事件表标出刺激或提问时间,即可比较区间。
  • 收到结果后可在聊天中继续提问,例如“用10秒分箱”“从0.5分开始计为片段”
  • 一个人还是多名被试 由数据决定:有被试表、事件表中的participant列或两个以上类似id的文件名(P01_、P02_、sub-01)即视为多名被试并比较条件与组别;否则所有文件视为一个人的记录,描述其分布与随时间的变化。在请求中说明即可覆盖。

常见问题

和FACS编码员的评分一样吗?
不一样。AU是由面部混合形状转换的0–1近似值,与人工编码员的0–5强度尺度不同。它适合追踪一个人的表情随时间的变化。
说话的片段也会分析吗?
会,但口部AU(张颌、唇部分开)会因说话而增大。请把说话区段分开,或在解读时加以考虑。
可以比较多个被试吗?
可以。上传每位被试的文件(P01_adA.mp4、P02_adA.mp4 … 或被试表),智能体会相对每位被试的基线比较条件与组别,并给出效应量和Holm校正(Pro及以上;少于3名被试只给描述统计)。
同一视频里有两个人怎么办?
②会报告多张面孔出现的频率。Pro及以上时③按位置追踪面孔,把每个人作为一名被试分析(A、B、…从左到右;短暂路过的人忽略),运行切换为条件与组别比较。若只想分析一个人,请写明,例如“只分析左边的人”。交换位置的人可能被混淆,报告会说明。
可以分析照片吗?
可以。一张照片是一帧:给出表情分布和AU轮廓,多张照片按均值差比较。随时间的变化只对视频计算。
可以用来判断抑郁或自闭症吗?
不可以。这是研究用分析,请勿用于临床判断。
Lite 能得到什么?
一段视频的一页概览:哪些表情占主导、效价与唤醒度如何变化,配2张图和1个工作表。区间比较、趋势、片段和完整报告从Pro开始。
视频可以多长?
每个文件上传上限为1GB。Lite分析一段视频,Pro最多10个、Expert最多20个、Max最多50个同一个人的片段;多名被试的文件最多60(Pro)、120(Expert)、300(Max)个,照片最多10/100/200/500张。