跳到主要内容

动作重定向

训练好的模型通常是在特定机器人上训练的。当你需要在另一个机器人上使用时，会遇到问题:

  • 关节数量不同:人形机器人有 20 多个关节，而机械臂可能只有 6-7 个
  • 运动范围不同:不同机器人的关节运动范围差异很大
  • 运动学约束不同:每个机器人都有自己的运动学限制

动作重定向功能就是为了解决这个问题而设计的。它将人类动作捕捉数据或一个机器人的动作，转换为另一个机器人可执行的动作序列。

核心概念​

动作重定向涉及三个核心数据库:

人类动捕轨迹​

人类动作捕捉数据，记录人体关节运动轨迹。这些数据通常来自动作捕捉系统(如 SenseXperience)，包含完整的人体运动信息。

数据特点:

  • 多关节运动轨迹
  • 时间序列数据
  • 支持视频预览
  • 包含动作描述和标签

机器人参考轨迹​

机器人执行特定动作的参考轨迹，作为动作重定向的目标。这些轨迹记录了机器人在执行动作时的关节状态序列。

数据特点:

  • 机器人关节状态序列
  • 与特定机器人型号关联
  • 支持视频演示
  • 可关联到人类动捕轨迹

机器人技能模型​

通过动作重定向训练得到的机器人技能模型，可以直接用于机器人控制。技能模型将人类动作映射到机器人动作空间。

数据特点:

  • 训练完成的技能模型
  • 支持视频演示
  • 可部署到机器人
  • 包含难度等级和描述

快速上手:从人类演示到机器人技能​

第 1 步:上传人类动捕数据​

  1. 进入动作重定向页面，切换到"人类动捕轨迹"标签页
  2. 点击"新建"，上传动作捕捉数据文件
  3. 上传视频文件(可选)，用于预览和演示
  4. 填写动作描述和标签，设置难度等级
  5. 保存后，数据会出现在列表中

数据要求:

  • 支持标准的动作捕捉数据格式
  • 视频文件用于可视化展示
  • 建议添加详细的描述，便于后续查找

第 2 步:创建机器人参考轨迹​

  1. 切换到"机器人参考轨迹"标签页
  2. 选择目标机器人型号
  3. 点击"新建"，创建参考轨迹
  4. 关联人类动捕轨迹:选择对应的人类动捕数据
  5. 上传机器人演示数据:上传机器人执行该动作的参考数据
  6. 上传视频文件(可选)，用于演示
  7. 保存后，参考轨迹会关联到人类动捕轨迹

为什么需要参考轨迹?

参考轨迹定义了目标机器人应该如何执行这个动作。通过对比人类动捕和机器人参考轨迹，系统可以学习如何将人类动作映射到机器人动作空间。

第 3 步:训练技能模型​

  1. 切换到"机器人技能模型"标签页
  2. 选择对应的机器人参考轨迹
  3. 配置训练参数
  4. 开始训练
  5. 训练完成后，技能模型可以直接用于机器人控制

训练过程:

系统会自动:

  • 分析人类动捕轨迹和机器人参考轨迹的对应关系
  • 学习动作映射规则
  • 考虑机器人的运动学约束
  • 生成适配目标机器人的技能模型

工作流程​

动作重定向的完整工作流程:

工作流步骤:

  1. 上传人类动捕数据:上传动作捕捉系统采集的人体运动数据
  2. 创建机器人参考轨迹:基于人类动捕创建机器人参考轨迹，或上传已有的机器人演示数据
  3. 动作映射:将人类关节映射到机器人关节空间
  4. 轨迹转换:转换动作轨迹，适配机器人运动学约束
  5. 技能训练:训练机器人技能模型，学习动作映射关系
  6. 模型部署:将技能模型部署到机器人，用于实际控制

进阶使用​

如何管理三个数据库?​

人类动捕轨迹管理:

  • 上传动捕数据:支持上传动作捕捉数据文件和视频文件
  • 添加描述和标签:便于后续搜索和筛选
  • 设置难度等级:用于分类管理
  • 查看详情:查看完整的轨迹信息、视频预览、关联的参考轨迹和技能模型

机器人参考轨迹管理:

  • 按机器人筛选:选择特定机器人型号，只显示该机器人的参考轨迹
  • 关联人类动捕:将参考轨迹关联到对应的人类动捕轨迹
  • 上传参考数据:上传机器人执行动作的参考数据
  • 查看详情:查看参考轨迹信息、视频演示、关联的人类动捕和技能模型

机器人技能模型管理:

  • 查看技能库:浏览所有训练完成的技能模型
  • 按难度筛选:根据难度等级筛选技能
  • 按机器人筛选:查看特定机器人的技能模型
  • 模型部署:直接部署技能模型到机器人

数据关联关系​

平台维护三个数据库之间的关联关系:

人类动捕 → 机器人参考轨迹:

  • 一个人类动捕轨迹可以关联多个机器人参考轨迹
  • 支持不同机器人型号的参考轨迹
  • 关联关系用于动作映射和转换

机器人参考轨迹 → 机器人技能模型:

  • 一个参考轨迹可以生成多个技能模型
  • 不同训练参数可以产生不同的技能模型
  • 技能模型继承参考轨迹的动作特征

完整链路:

  • 人类动捕轨迹 → 机器人参考轨迹 → 机器人技能模型
  • 形成从人类演示到机器人技能的完整数据链路
  • 支持追溯和版本管理

搜索和筛选​

人类动捕轨迹:

  • 按名称搜索
  • 按难度等级筛选
  • 按标签筛选
  • 按创建时间排序

机器人参考轨迹:

  • 按机器人型号筛选
  • 按名称搜索
  • 按关联的人类动捕筛选
  • 按创建时间排序

机器人技能模型:

  • 按名称搜索
  • 按难度等级筛选
  • 按机器人型号筛选
  • 按创建时间排序

使用场景​

场景一:从人类演示到机器人技能​

典型流程:

  1. 使用动作捕捉系统采集人类执行动作的数据
  2. 上传到平台的人类动捕轨迹数据库
  3. 创建对应的机器人参考轨迹
  4. 训练机器人技能模型
  5. 部署模型到机器人进行实际控制

适用场景:

  • 需要将人类动作转换为机器人动作
  • 有动作捕捉设备和数据
  • 需要为特定机器人训练技能

场景二:机器人演示数据管理​

典型流程:

  1. 直接在机器人上采集演示数据
  2. 上传到机器人参考轨迹数据库
  3. 关联到相应的人类动捕轨迹(可选)
  4. 训练技能模型
  5. 用于机器人控制

适用场景:

  • 已有机器人演示数据
  • 需要管理和复用演示数据
  • 需要基于演示数据训练模型

场景三:技能模型复用​

典型流程:

  1. 查看已有的技能模型库
  2. 选择合适的技能模型
  3. 直接部署到机器人
  4. 或基于现有模型进行微调

适用场景:

  • 需要快速使用已有技能
  • 多个机器人需要相同技能
  • 基于现有技能进行改进

常见问题​

如何选择合适的参考轨迹?​

选择建议:

  1. 机器人型号匹配:参考轨迹必须与目标机器人型号匹配
  2. 动作相似性:选择与目标动作最相似的参考轨迹
  3. 数据质量:选择数据质量高的参考轨迹
  4. 关联关系:优先选择已关联人类动捕的参考轨迹

训练技能模型需要多长时间?​

时间估算:

训练时间取决于:

  • 数据量:数据越多，训练时间越长
  • 模型复杂度:复杂模型需要更长时间
  • 计算资源:GPU 性能越好，训练越快

一般情况:

  • 小规模数据:10-30 分钟
  • 中等规模数据:30 分钟-2 小时
  • 大规模数据:2 小时以上

如何验证技能模型效果?​

验证方法:

  1. 视频演示:查看技能模型的视频演示
  2. 实际测试:在真实机器人上测试技能模型
  3. 对比分析:对比不同技能模型的效果
  4. 用户反馈:收集实际使用中的反馈

技能模型可以用于哪些机器人?​

使用限制:

  • 技能模型通常与特定机器人型号绑定
  • 不同机器人型号需要重新训练
  • 相似构型的机器人可能可以复用(需要测试)

适用角色​

管理员​

你可以:

  • 管理所有动作重定向数据库
  • 配置工作流规则
  • 监控数据使用情况
  • 确保数据质量和系统稳定运行

项目经理​

你可以:

  • 管理项目相关的动作重定向数据
  • 协调研究人员和开发者工作
  • 跟踪技能模型训练进度
  • 确保项目目标的实现

研究人员​

你可以:

  • 上传动捕数据
  • 创建机器人参考轨迹
  • 训练技能模型
  • 进行实验和验证

机器人开发者​

你可以:

  • 使用训练好的技能模型
  • 部署到机器人进行实际控制
  • 测试模型效果
  • 根据实际使用情况反馈改进模型

相关功能​

完成动作重定向后，你可能还需要: