返回行业知识
具身 / 多模态数据怎么标:视频帧、动作轨迹、接触关系
行业知识

具身 / 多模态数据怎么标:视频帧、动作轨迹、接触关系

图片标注看「是什么」,具身数据要回答「人在做什么、动作何时发生、和什么发生了接触」。这篇把连续视频的标注拆成四类可写进规范的对象。

标
2026年11月11日81 阅读

最近具身数据项目明显多了:《实施方案》第(三)条明确要加快「重点场景物理交互、环境感知、运动控制等真机交互数据集」建设;公开报道里,武汉、昭通等基地也都在做第一人称视角采集和动作数据标注。但很多团队第一次接这类单,会习惯性地按图片标注的思路去写规范,结果一致性怎么都做不上去。

根本区别是:图片标注主要回答「是什么、在哪里」,具身数据要回答「人在做什么、动作从何时开始到何时结束、和哪个物体发生了什么关系」。对象从空间变成了「空间 + 时间 + 关系」。

先把连续视频拆成四类标注对象

对象要标什么规范里最该写清的一点
动作单元一个有完整意图的操作(拿杯、开盖、放入)起止帧判定规则:以接触开始还是以意图开始
时间戳 / 分段关键节点、阶段边界、失败点边界模糊时前后各允许多少帧误差
轨迹手或工具的运动路径、关节位置遮挡时是否补点、按什么规则插值
接触关系谁与谁接触、接触类型、持续区间「接近但未接触」算不算、多物体同时接触怎么记

这四类不必一次全上。建议从「动作单元 + 起止帧」开始,等团队判断稳定了再加轨迹和接触关系,否则规范会一下子复杂到没人记得住。

语义标注:把「人在做什么」写成可判定的句子

公开报道里,武汉基地的做法是通过语义标注说明「人在做什么、动作何时发生」,再经轨迹重建还原手的移动与接触过程。语义描述最容易出的问题是同义泛滥——「拿起杯子」「取杯」「把杯子端起来」会被标成三种。可行办法是给固定句式与动词表:

  • 限定动词集合,一新动作先申请加词再使用;
  • 用「主体 + 动作 + 对象 + 结果」的结构,缺项写「无」而不是留空;
  • 为容易混淆的动词各配一段正例和一段反例视频。

三个绕不开的难点

遮挡与视角变化。第一人称视角里手经常挡住物体,多机位又会出现同一动作不同外观。规范要事先约定:遮挡超过多少算不可判、不可判是跳过还是标「不确定」、多视角以哪个为主。

连续动作的边界。真实操作不是按剧本分段的,一个动作和下一个动作常连在一起。与其追求唯一正确答案,不如允许一定的帧容差,并把判定权交给仲裁样本。

真实操作里的应变。公开报道提到,有的采集要求「不按剧本摆拍、不刻意放慢动作」,为的是保留真实技巧。这会让数据更值钱,也更难标:中途改主意、临时换手、失败后重来,都要有对应规则。

质检要点(和图片标注不一样的地方)

  • 抽检要按「场景 + 采集人员 + 设备型号」分层,同一设备的问题容易成片出现;
  • 一致率要按动作单元算,也要按时间边界单独算,两者常常一个高一个低;
  • 抽查时快速拖动时间轴看整体节奏,比逐帧看更容易发现分段错位;
  • 交付时把「帧率、时间基准、坐标系、视角说明」写进元数据,否则下游很难对齐。

一个小练习:找一段 30 秒的日常操作视频,只标「动作单元 + 起止帧」,两个人独立标完后对一遍。你会发现分歧几乎都出在边界和动词上——那正是规范最该补的地方。

本文为方法论整理;政策表述引自《实施方案》第(三)条,采集流程与质量指标的背景引自湖北日报等公开报道,非本站实测数据。


参考来源

方法论整理,非新闻;引用的公开报道已标注

广告位招商中

广告投放请联系站长

评论 (0)

登录 后即可评论

暂无评论,快来抢沙发~