流程管理
当数据量大、处理流程重复时,手动操作既耗时又容易出错。
典型场景:
- 新上传的 MCAP 文件需要自动预 处理
- 特定项目的数据需要自动创建标注任务
- 已完成标注的数据需要自动进行质量检查
- 需要将 HDF5 格式自动转换为 MCAP 格式
流程管理功能就是为了解决这些问题而设计的。通过配置匹配规则和动作规则,可以自动执行数据处理、标注分配、质量检查等操作,提高效率,减少人工干预。
核心概念
匹配规则
定义数据匹配条件,用于识别需要处理的数据集。
规则类型:
- 按项目匹配:匹配特定项目的数据
- 按标签匹配:匹配带有特定标签的数据
- 按机器人类型匹配:匹配特定机器人采集的数据
- 按数据格式匹配:匹配特定格式的数据(如 MCAP、HDF5)
- 按状态匹配:匹配特定状态的数据(如未标注、已标注)
规则配置:
- 规则名称和描述
- 匹配条件(AND/OR 逻辑)
- 规则优先级
- 规则启用状态
动作规则
定义对匹配数据执行的操作。
操作类型:
- 数据预处理:自动重命名、格式转换等
- 自动标注 分配:自动创建标注任务并分配
- 质量检查:自动执行质量检查
- 标签添加:自动添加标签
- 项目分配:自动分配到项目
- 格式转换:HDF5 → MCAP、LeRobot → MCAP 等
规则配置:
- 规则名称和描述
- 执行动作
- 动作参数
- 规则优先级
工作流
将匹配规则和动作规则组合成完整的工作流。
工作流结构:
- 工作流名称和描述
- 关联的匹配规则
- 关联的动作规则
- 工作流优先级
- 工作流启用状态
执行流程:
- 数据进入系统或状态变更
- 工作流引擎检查匹配规则
- 如果匹配,执行关联的动作规则
- 记录执行日志
快速上手:创建第一个工作流
第 1 步:创建匹配规则
- 进入流程管理页面,切换到"匹 配规则"标签页
- 点击"新建匹配规则"
- 填写规则信息:
- 规则名称:清晰描述匹配条件(如"新上传的 MCAP 文件")
- 规则描述:补充说明(可选)
- 配置匹配条件:
- 选择匹配字段(项目、标签、格式等)
- 设置匹配值
- 可以添加多个条件,使用 AND/OR 逻辑组合
- 设置优先级和启用状态
- 保存规则
第 2 步:创建动作规则
- 切换到"动作规则"标签页
- 点击"新建动作规则"
- 填写规则信息:
- 规则名称:清晰描述执行的操作(如"自动预处理")
- 规则描述:补充说明(可选)
- 配置执行动作:
- 选择动作类型(数据预处理、格式转换等)
- 配置动作参数
- 可以添加多个动作步骤
- 设置优先级和启用状态
- 保存规则
第 3 步:创建工作流
- 切换到"工作流"标签页
- 点击"新建工作流"
- 填写工作流信息:
- 工作流名称:清晰描述工作流用途(如"MCAP 文件自动预处理")
- 工作流描述:补充说明(可选)
- 项目范围:选择全局或特定项目
- 选择规则:
- 选择匹配规则
- 选择动作规则
- 设置优先级和启用状态
- 保存工作流
工作流创建后,系统会自动监控数据状态,当数据匹配规则时自动执行工作流。
进阶使用
如何配置复杂的匹配条件?
多条件组合:
匹配规则支持多个条件的组合:
-
AND 逻辑:所有条件都必须满足
- 例如:项目 = "项目A" AND 格式 = "MCAP" AND 状态 = "未标注"
-
OR 逻辑:任一条件满足即可
- 例如:标签 = "高质量" OR 标签 = "测试数据"
条件类型:
- 项目匹配:匹配特定项目的数据
- 标签匹配:匹配带有特定标签的数据
- 机器人类型匹配:匹配特定机器人采集的数据
- 数据格式匹配:匹配特定格式的数据
- 状态匹配:匹配特定状态的数据
如何配置多个动作步骤?
动作步骤:
动作规则可以包含多个步骤,按顺序执行:
- 自动重命名:根据规则重命名数据集
- 格式转换:将数据转换为标准格式
- 自动导入项目:将数据导入到指定项目
- 运行自定义算法:执行自定义处理算法
步骤配置:
每个步骤可以配置独立的参数:
- 重命名规则:设置命名模式和目标格式
- 转换参数:设置转换选项和参数
- 项目选择:选择目标项目
如何设置工作流优先级?
优先级说明:
- 数字越小,优先级越高
- 多个工作流匹配时,按优先级顺序执行
- 高优先级工作流先执行
设置建议:
- 重要的工作流设置较高优先级(如 1-10)
- 一般工作流设置中等优先级(如 11-50)
- 可选工作流设置较低优先级(如 51-100)
如何测试工作流?
规则测试:
创建规则后,可以测试规则是否正确:
- 在规则列表中点击"测试"
- 系统会显示匹配的数据集列表
- 确认匹配结果是否符合预期
工作流测试:
- 创建工作流后,可以先禁用
- 手动触发测试,查看执行结果
- 确认无误后启用工作流
使用场景
场景一:自动数据预处理
需求:新上传的 MCAP 文件需要自动预处理。
配置步骤:
- 创建匹配规则:匹配新上传的 MCAP 文件
- 条件:格式 = "MCAP" AND 状态 = "新上传"
- 创建动作规则:执行数据预处理操作
- 动作:数据预处理
- 创建工作流:将匹配规则和动作规则关联
- 启用工作流:新上传的 MCAP 文件自动触发预处理