模型推理
推理页面把训练完成的检查点或外部模型部署为推理服务，并提供模拟推理、MCAP 数据测试与离线边缘部署三种验证与落地方式。
适用角色与前提
角色与权限
| 角色 | 可执行操作 | 必需权限 |
|---|---|---|
| 管理员 | 创建、查看、启动、停止、删除推理服务；管理推理额度 | 「查看推理」、「管理推理任务」 |
| 项目经理 | 创建、查看、启动、停止、删除推理服务 | 「查看推理」、「管理推理任务」 |
菜单入口为模型 → 推理。模块权限的配置方式见模块权限。
使用前提
| 项 | 要求 |
|---|---|
| 推理服务 | 推理服务已部署并可访问 |
| 模型来源 | 训练检查点、自定义模型权重与配置、HuggingFace 预训练模型之一 |
| GPU 资源 | 推理节点有可用 GPU；无 GPU 时回退 CPU |
| 推理额度 | 额度未用尽，额度由管理员在额度管理中授予 |
| 权限 | 「管理推理任务」 |
操作步骤
模型来源
创建推理服务时按来源选择标签页。
| 来源 | 标签页 | 说明 |
|---|---|---|
| 训练检查点 | 使用微调模型 | 选择已完成的训练任务及其检查点 |
| 自定义模型 | 上传自定义模型 | 上传模型权重与配置文件，模型类型从配置文件解析 |
| 预训练模型 | 使用预训练模型 | 选择内置模型，或填写 HuggingFace 仓库 ID |
从检查 点部署
- 进入模型 → 推理，点击「创建推理」。
- 在「使用微调模型」中选择训练任务。
- 选择该任务下的检查点。
- 填写推理服务名称与服务描述。
- 选择 GPU；系统默认推荐显存占用率最低的 GPU。
- 点击「创建推理服务」，等待部署完成。
部署过程自动创建容器、加载模型权重与配置、启动推理服务并执行健康检查。
上传自定义模型
上传自定义模型时，需提供模型权重与配置，系统从配置解析模型类型。
| 项 | 要求 |
|---|---|
| 模型权重 | .safetensors 文件 |
| 模型配置 | config.json，用于识别模型类型 |
| 数据集配置 | train_config.json，可选 |
结果校验
推理测试方式
平台提供三种推理测试方式，按场景选择。
| 方式 | 用途 | 输入 |
|---|---|---|
| 模拟推理 | 验证服务启动与输入输出格式 | 随机填充或手工输入 |
| MCAP 测试 | 用真实录制数据验证推理效果 | MCAP 文件、输入映射、推理范围 |
| 离线边缘部署 | 部署到机器人本地 GPU | 离线镜像、配置文件、ROS 客户端 |
模拟推理
步骤：
- 进入推理服务详情页，切换到「模拟推理」标签页。
- 在「自然语言任务」中填写任务指令。
- 点击「随机填充」生成测试数据，或手工填写图像与状态输入。
- 点击「发送」，查看推理结果。
结果表记录每条请求的次序、时间、请求用时、推理用时与推理结果值。
MCAP 测试
步骤：
- 进入推理服务详情页，切换到「测试推理」标签页。
- 选择 MCAP 文件，可从平台数据集选择或本地上传。
- 配置推理输入字段：为每个字段选择数据源（MCAP 话题、自定义值、不使用），并选择专家动作话题。
- 设置数据筛选条件。
- 点击「开始推理」，对序列逐帧执行推理。
数据筛选条件如下。
| 条件 | 说明 |
|---|---|
| 状态 | 全部、成功、失败 |
| 时间范围 | 起始时间与结束时间 |
| 帧范围 | 起始帧与结束帧 |
| 误差阈值 | 仅显示误差超过阈值的帧 |
推理完成后，页面给出统计信息：总帧数、成功推理数、失败推理数、平均请求时间、平均推理时间与吞吐量；并提供关节对比、误差趋势与误差分布图表。结果可导出为 CSV、JSON 或报告。
推理连续失败 2 次时自动暂停，页面提供继续或停止选项。
离线边缘部署
离线部署把推理服务部署到机器人本地 GPU，适用于网络受限或对延迟敏感的场景。
| 步骤 | 操作 |
|---|---|
| 1 | 安装依赖：在机器人侧安装必要的 Python 依赖包，并 source 对应 ROS 环境 |
| 2 | 下载离线镜像：获取包含推理环境、模型权重与配置的 Docker 镜像 tar 文件 |
| 3 | 部署服务：使用页面提供的 Docker 命令加载并启动推理服务 |
| 4 | 准备配置文件：下载或填写服务配置 |
| 5 | 运行客户端：运行页面提供的 ROS 客户端脚本 |
ROS 客户端通过 WebSocket 与推 理服务通信，消息采用 BSON 编码；客户端订阅传感器话题，发布关节控制指令。
服务状态
推理服务详情页展示服务信息与资源监控。
| 分区 | 内容 |
|---|---|
| 服务信息 | 模型类型、创建者、模型来源、创建时间 |
| 资源监控 | CPU 使用率、内存占用、GPU 利用率与显存占用 |
服务状态取值如下。
| 状态 | 含义 |
|---|---|
| 运行中 | 服务就绪，可接收推理请求 |
| 启动中 | 容器启动或模型加载中 |
| 启动失败 | 服务启动异常 |
| 已停止 | 服务未运行 |
| 未知状态 | 暂未获取到服务状态 |
服务控制
| 操作 | 作用 | 约束 |
|---|---|---|
| 启动服务 | 启动已停止的服务 | 服务状态为已停止时可用 |
| 停止服务 | 停止运行中的服务 | 服务状态为运行中时可用 |
| 删除服务 | 删除推理服务并释放资源 | 不可恢复 |
输入输出
推理服务的输入输出字段由模型 schema 决定，部署完成后在详情页的「模型结构」中可查看。字段分为以下几类。
| 类别 | 说明 |
|---|---|
| 图像输入 | 一路或多路相机图像，分辨率由模型 schema 定义 |
| 状态输入 | 关节状态、夹爪状态等观测数据，维度由模型 schema 定义 |
| 任务描述 | 自然语言任务指令 |
| 输出参数 | 关节控制指令 |
异常处置
| 现象 | 可能原因 | 处置 |
|---|---|---|
| 无法创建推理服务 | 推理额度用尽 | 在额度管理中申请额度 |
| 服务启动失败 | GPU 资源不足、模型文件错误、配置错误、容器启动失败 | 查看服务日志，修复后重新部署 |
| 测试推理无法进行 | 服务未启动 | 先启动推理服务 |
| MCAP 测试连续失败 | 推理请求异常 | 连续失败 2 次后服务自动暂停，按提示选择继续或停止 |
| 离线客户端无法连接 | 端口未开放、依赖缺失 | 开放端口；安装依赖并 source ROS 环境 |
| 推理结果与预期偏差大 | 测试数据与训练数据场景差异大 | 换用与训练场景相近的 MCAP 文件测试；更换检查点 |
相关页面
| 页面 | 用途 |
|---|---|
| 模型训练 | 训练任务创建、参数配置与检查点管理 |
| 额度管理 | 推理额度的授予与查看 |
| 数据导出 | 导出 MCAP 等测试数据 |
| 数据格式 | MCAP 结构与字段定义 |