具身 / 多模态数据怎么标:视频帧、动作轨迹、接触关系
图片标注看「是什么」,具身数据要回答「人在做什么、动作何时发生、和什么发生了接触」。这篇把连续视频的标注拆成四类可写进规范的对象。
最近具身数据项目明显多了:《实施方案》第(三)条明确要加快「重点场景物理交互、环境感知、运动控制等真机交互数据集」建设;公开报道里,武汉、昭通等基地也都在做第一人称视角采集和动作数据标注。但很多团队第一次接这类单,会习惯性地按图片标注的思路去写规范,结果一致性怎么都做不上去。
根本区别是:图片标注主要回答「是什么、在哪里」,具身数据要回答「人在做什么、动作从何时开始到何时结束、和哪个物体发生了什么关系」。对象从空间变成了「空间 + 时间 + 关系」。
先把连续视频拆成四类标注对象
| 对象 | 要标什么 | 规范里最该写清的一点 |
|---|---|---|
| 动作单元 | 一个有完整意图的操作(拿杯、开盖、放入) | 起止帧判定规则:以接触开始还是以意图开始 |
| 时间戳 / 分段 | 关键节点、阶段边界、失败点 | 边界模糊时前后各允许多少帧误差 |
| 轨迹 | 手或工具的运动路径、关节位置 | 遮挡时是否补点、按什么规则插值 |
| 接触关系 | 谁与谁接触、接触类型、持续区间 | 「接近但未接触」算不算、多物体同时接触怎么记 |
这四类不必一次全上。建议从「动作单元 + 起止帧」开始,等团队判断稳定了再加轨迹和接触关系,否则规范会一下子复杂到没人记得住。
语义标注:把「人在做什么」写成可判定的句子
公开报道里,武汉基地的做法是通过语义标注说明「人在做什么、动作何时发生」,再经轨迹重建还原手的移动与接触过程。语义描述最容易出的问题是同义泛滥——「拿起杯子」「取杯」「把杯子端起来」会被标成三种。可行办法是给固定句式与动词表:
- 限定动词集合,一新动作先申请加词再使用;
- 用「主体 + 动作 + 对象 + 结果」的结构,缺项写「无」而不是留空;
- 为容易混淆的动词各配一段正例和一段反例视频。
三个绕不开的难点
遮挡与视角变化。第一人称视角里手经常挡住物体,多机位又会出现同一动作不同外观。规范要事先约定:遮挡超过多少算不可判、不可判是跳过还是标「不确定」、多视角以哪个为主。
连续动作的边界。真实操作不是按剧本分段的,一个动作和下一个动作常连在一起。与其追求唯一正确答案,不如允许一定的帧容差,并把判定权交给仲裁样本。
真实操作里的应变。公开报道提到,有的采集要求「不按剧本摆拍、不刻意放慢动作」,为的是保留真实技巧。这会让数据更值钱,也更难标:中途改主意、临时换手、失败后重来,都要有对应规则。
质检要点(和图片标注不一样的地方)
- 抽检要按「场景 + 采集人员 + 设备型号」分层,同一设备的问题容易成片出现;
- 一致率要按动作单元算,也要按时间边界单独算,两者常常一个高一个低;
- 抽查时快速拖动时间轴看整体节奏,比逐帧看更容易发现分段错位;
- 交付时把「帧率、时间基准、坐标系、视角说明」写进元数据,否则下游很难对齐。
一个小练习:找一段 30 秒的日常操作视频,只标「动作单元 + 起止帧」,两个人独立标完后对一遍。你会发现分歧几乎都出在边界和动词上——那正是规范最该补的地方。
本文为方法论整理;政策表述引自《实施方案》第(三)条,采集流程与质量指标的背景引自湖北日报等公开报道,非本站实测数据。
参考来源
方法论整理,非新闻;引用的公开报道已标注
数据标注入门指南
按「是什么 → 怎么标 → 怎么验 → 怎么选工具 → 怎么算成本」串起站内的实操文章。