数据集交付不止是发个压缩包:元数据、标签版本与变更日志怎么记
一份数据集能被复用、被验收、被追溯,靠的不只是标注结果文件。本文给出交付包里该有的四类「配套信息」:数据集说明、标签体系版本、变更日志、质检与评测记录,并附一份可直接照抄的交付目录结构。
很多项目交付时只发一个结果文件夹,三个月后需求方问「这批用的是哪版规则」「当时为什么把这个标成 B」,就只剩翻聊天记录。数据集要能复用、能验收、能追溯,靠的是和结果文件一起交付的那几份「说明」。下面是一套可以直接照抄的结构。
一、数据集说明(让别人不用问你也能用起来)
- 基本信息:数据集名称、批次号、生成日期、交付方与接收方、适用场景与不适用场景。
- 规模与构成:样本数量、数据类型、来源说明;分场景、分难度的构成要能核对,别只写「约多少」。
- 字段说明:每个字段叫什么、什么类型、什么取值、什么情况下为空,逐项列清楚。
- 文件与命名:目录结构、文件命名规则、编码格式、如何把标注结果和原始素材对上(靠 ID 还是靠路径,必须唯一且稳定)。
- 使用限制:授权范围、是否允许再分发、保存期限与销毁要求。
二、标签体系版本(最容易被漏掉的一份)
单独放一个标签体系文件,写清:标签清单与层级、每个标签的定义与排除项、属性字段、是否可多选、以及版本号与生效批次。规则文档和边界样例册也一并附上,并注明它们对应哪个标签版本。
为什么必须带版本号?因为同一个标签名在不同版本里含义可能变过。没有版本号,后面做统计、做模型训练、做跨批次合并时,很容易把两套口径混在一起,而且很难查出来。
三、变更日志(回答「什么时候改过什么」)
用一张简单的表按时间记:变更日期、变更内容、原因、发起方、从哪批数据开始生效、已完成的批次是否回刷、回刷范围与结果、确认人。至少覆盖三类变更:规则调整、标签体系调整、数据来源或采集方式调整。
变更日志有个很实际的作用:验收出现分歧时,能一眼看出争议样本属于哪一版规则,避免拿新规则去判旧数据。
四、质检与评测记录(把「质量不错」变成可核对的东西)
- 质检方案:抽检范围、抽检方式、判定标准、不合格怎么处理。
- 争议与仲裁记录:待确认样本怎么裁的、依据哪条规则。
- 结果记录:发现的问题分类、返工批次、复核结论。
- 如果做过模型侧验证或外部测评,把用的方案、工具、数据集版本与结果一并附上,注明是哪个版本的数据集跑出来的。
一份可直接照抄的交付目录
建议按 README(数据集说明) / data(原始数据或引用方式) / annotations(标注结果) / label_schema(标签体系、规则文档、边界样例) / changelog(变更日志) / qa(质检与评测记录) / meta(交接、审批、销毁确认) 分目录,每层放一个简短说明文件。
三个收尾检查
- 把交付包拷到一台干净的机器上,不看任何聊天记录,能不能独立把数据读起来、把标注对上?
- 随便挑一个样本,能不能顺着 ID 查到它属于哪批、用哪版规则、有没有被返工过?
- 半年后标签体系升级,能不能只靠包里的文件判断哪些历史批次需要回刷?
本文为方法论与实操经验整理,不含统计数据、个案或未公开信息。
参考来源
- 延伸阅读:国家数据局《实施方案》第(十四)条(覆盖采集、清洗、加工、标注、质检、测评、迭代、审计的全生命周期管理)
- 延伸阅读:全国标准信息公共服务平台 GB/T 48560-2026《高质量数据集 数据标注要求》标准信息页
方法论文章,无外部数据来源;延伸阅读仅提供可核对的官方背景链接。
数据标注入门指南
按「是什么 → 怎么标 → 怎么验 → 怎么选工具 → 怎么算成本」串起站内的实操文章。