跳到主要内容

流程管理

流程管理把数据集匹配条件与处理步骤组合为流水线,在数据集入库或状态变化时自动执行格式转换、导入项目、质检、标注与导出等操作。流水线由三类可复用定义组成:匹配规则、处理规则与工作流;工作流引用前两者,构成可执行的有向图。

流程总览

使用前提​

项内容
菜单入口管理 → 流程
路由/workflows(默认跳转 /workflows/overview)
页面权限「查看流程」;编辑页需「管理流程」
接口权限「查看流程」(读取)、「管理流程」(新建、编辑、删除、测试)
可写范围全局定义仅管理员可写;项目定义需项目经理且对目标项目具备写权限
依赖至少一条匹配规则与一条处理规则;执行依赖后台任务服务与执行节点可用

匹配规则页与处理规则页对具备 「查看流程」 的用户开放;流程总览、项目设置、运行中心、预设模板、工作流管理、质量标准、标注配置、导出配置仅管理员与项目经理可访问,其他角色访问时跳转「标注」。

流程配置与运行​

页签与流水线阶段​

页签路由用途
流程总览/workflows/overview流水线阶段入口与蓝图预览
项目设置/workflows/project项目级流水线开关与参数
运行中心/workflows/runs流水线运行记录、状态、耗时与详情
预设模板/workflows/templates平台标准模板的预览、试跑与复制到项目
工作流管理/workflows/manage工作流列表、新建、编辑、删除
匹配规则/workflows/match-rules数据集匹配条件的定义与测试
处理规则/workflows/action-rules处理步骤的编排与参数配置
质量标准/workflows/qc-rubrics质检评级标准(严格度与指标阈值)
标注配置/workflows/label-configs自动标注的模型与复核策略
导出配置/workflows/export-profiles导出格式、过滤条件与目录结构

流程管理配置页

阶段对应能力
采集与入库匹配规则、云端存储规则
数据规范化格式转换与坐标系处理
后处理算法自定义算法模板的运行
质量评估质检规则与评级标准
标注与审核自动标注与人工复核
交付与报告导出规则与质保报告

匹配规则​

字段类型必填默认值说明
名称文本是无最大 200 字符
描述文本否空最大 500 字符
范围枚举是全局全局或项目
优先级整数否100数字越小越先评估
启用开关否开启关闭后不再参与匹配
组合逻辑枚举是且且(全部满足)或 或(任一满足)
条件列表是空每条条件由字段、运算符与值组成

匹配条件支持的字段、运算符与取值如下。

项取值说明
可选字段name、extension_name、robot_type、sizemb、source_url、remote_url、local_url取数据集对应属性
运算符eq、contains、regex、gt、lt、gte、lte、is_null、is_not_null空值判定不需要填值
正则标志i、m、s、u、y、dg 会被忽略
大小比较gt、lt、gte、lte用于 sizemb 等数值字段

匹配测试对数据集样本执行同一匹配器,返回命中数量、已扫描数量与命中样例。

处理规则​

处理规则由有序步骤组成,编辑页提供图形化步骤与 JSON 高级模式两种录入方式。

动作标识说明
自动重命名autoRename按正则模式与目标格式改写数据集名称,提供测试对话框
自动导入项目autoImportProject将数据集导入指定项目
HDF5 → MCAPio_hdf5agilex2mcap、io_hdf5realman2mcap、io_hdf5dobot2mcap、io_hdf5limx2mcap、io_hdf5unix2mcap按采集来源转换 Agilex、Realman、Dobot、Limx、Unix 的 HDF5 数据
LeRobot → MCAPio_lerobot2mcapLeRobot 数据集转为 MCAP
Agibot → MCAPio_agibot2mcapAgibot 数据转为 MCAP
美团 → MCAPio_meituan2mcap美团数据转为 MCAP
Lumos FastUMI → MCAPio_lumos2mcapLumos FastUMI 数据转为 MCAP
zc0touch → MCAPio_zc0touch2mcapzc0touch 数据转为 MCAP
SenseXperience → MCAPio_sensexperience2mcapSenseXperience 数据转为 MCAP
BVH → MCAPio_bvh2mcapBVH 动作数据转为 MCAP
生成三维动画io_generateTransforms由数据生成三维动画制品
银河通用 Proto 数据转 ROS2io_galbotproto2mcap银河通用 Proto 数据转为 ROS2 数据
运行自定义算法runAlgorithm调用算法管理中注册的算法模板

工作流与配置对象​

字段类型必填默认值说明
名称文本是无最大 200 字符
描述文本否空最大 500 字符
范围枚举是全局全局或项目
优先级整数否100数字越小越先执行
启用开关否开启关闭后不再命中执行
图有向图是空由匹配规则节点与处理规则节点组成

质量标准、标注配置与导出配置分别对应运行流水线时使用的评级、标注与导出参数。

页签主要字段取值
质量标准严格度LOW、MEDIUM、HIGH
质量标准指标规则指标、条件、阈值、严重度(WARNING、CRITICAL)
标注配置模型模型标识、置信度阈值、服务端点
标注配置复核策略random、all、low_confidence,抽样比例 0–100%,最少复核人数
导出配置格式mcap、hdf5_lerobot、hdf5_robomimic、mp4、rosbag2
导出配置过滤与结构质检状态、最小时长;路径模板与压缩方式(gzip、none)

运行中心​

运行中心按时间倒序列出流水线运行记录。

字段说明
ID运行编号
数据集触发运行的数据集
阶段数据处理阶段
状态运行状态,运行中显示进度百分比
启动时间运行开始时间
耗时开始到完成的时长
操作查看运行详情
状态含义
等待中已入队,等待执行
运行中正在执行,附带进度百分比
已完成全部步骤执行完成
失败步骤执行出错,详情含错误信息

约束与限制​

项取值说明
名称长度≤ 200 字符超长拒绝保存
描述长度≤ 500 字符超长拒绝保存
优先级整数,默认 100数字越小越优先
全局定义仅管理员可写项目定义需项目经理且对项目具备写权限
匹配测试非管理员必须指定项目单次最多扫描 20000 条数据集,返回样例最多 50 条
删除软删除删除后不再命中执行,历史运行记录保留
页签访问流程总览、项目设置、运行中心、预设模板、工作流管理、质量标准、标注配置、导出配置仅管理员与项目经理可访问

失败处理​

现象可能原因处置责任方
流程未执行流程未启用、匹配规则不满足、优先级低于其他流程检查启用状态;用「测试」验证匹配命中;调整优先级项目经理、管理员
匹配测试无命中项目范围错误、条件过严、字段或运算符不匹配放宽条件,或在目标项目内测试项目经理
运行处于等待中后台任务拥堵或执行节点不可用在运维监控查看队列与节点状态平台运维
处理步骤执行失败源格式不受支持、动作参数缺失、算法运行失败在运行详情查看失败步骤与日志,修正后重跑项目经理、管理员
自动重命名未命中正则模式不匹配,或未匹配处置设为跳过在重命名测试对话框核对结果,调整模式或处置项目经理
访问页签被跳转当前角色不具备该页签的访问条件由管理员分配权限,或改用匹配规则、处理规则页管理员

相关页面​

页面用途
算法管理注册处理规则可调用的算法模板
数据管理查看流水线处理的数据集
标注任务查看自动创建的标注任务
数据质检质检规则与结果查看
数据导出导出任务与目标格式
运维监控任务队列与执行日志