模型推理

艾欧数据平台提供完整的模型推理服务，支持将训练完成的机器人学习模型一键部署为生产级推理服务。平台支持多种模型格式和灵活的部署方式，为机器人应用提供从云端到边缘的全场景AI推理能力。

产品特色

平台提供从模型训练到推理部署的完整链路，支持多种推理验证和部署方式

推理方式	适用场景	说明
模拟推理测试	快速验证	使用随机数据或自定义输入，快速验证模型推理功能和性能
MCAP文件测试	真实数据验证	使用录制好的机器人演示数据，验证模型在真实场景下的推理效果
离线边缘部署	生产环境应用	将推理服务部署到机器人本地GPU，实现低延迟的实时控制

推理工作流程

平台提供产品化的推理部署流程，通过可视化界面实现从模型选择到生产部署的完整操作，无需编程经验：

1. 模型来源选择

平台支持多种模型来源，满足不同场景的部署需求：

使用微调模型（推荐）：

• 从训练任务中选择已完成的模型
• 支持选择不同的检查点（推荐使用"last"或"best"）
• 自动继承训练时的模型配置和参数
• 无需额外配置，可直接部署

上传自定义模型：

• 支持主流模型格式：SafeTensors、PyTorch（.pth、.pt）、ONNX等
• 支持通过URL链接下载模型文件
• 支持ZIP和TAR压缩包自动解压
• 适用于外部训练或第三方模型部署

使用预训练模型：

• 提供经过验证的基础模型，如Pi0 Latest、Pi0 0.5、SmolVLA等
• 从模型仓库自动下载和加载
• 快速启动，适合快速验证和测试

提示

模型选择建议：

• 首次部署建议使用微调模型，确保模型与训练数据匹配
• 如果需要快速测试，可以使用预训练模型
• 自定义模型需要确保格式兼容和配置正确

2. 服务配置与部署

基本信息配置

创建推理服务时需要配置以下基本信息：

• 服务名称 - 为推理服务设置一个易于识别的名称
• 服务描述 - 可选，添加服务用途或说明信息
• 所属项目 - 将服务关联到特定项目，便于管理
• 模型类型 - 选择模型的类型（如SmolVLA、Pi0等），系统会自动适配

推理参数配置

根据模型类型，可以配置以下推理参数：

• 推理精度 - 选择推理使用的精度类型（bfloat16或float32）
• 批次大小 - 批量推理时的批次大小
• 最大序列长度 - 对于支持序列的模型，限制最大序列长度
• 其他模型特定参数 - 根据模型类型显示相关配置选项

资源配置

计算资源：

• 自动检测可用的GPU资源
• 支持选择特定GPU或多GPU部署
• 支持CUDA、MPS（Apple Silicon）等平台
• 无GPU时自动回退到CPU（性能较低）

容器配置：

• 每个推理服务运行在独立的Docker容器中
• 自动分配端口号（范围28000-28999）
• 支持GPU直通，实现高性能推理
• 容器自动管理，无需手动操作

服务部署

配置完成后，点击"部署"按钮：

1. 系统自动创建Docker容器
2. 加载模型权重和配置
3. 启动推理服务（约需20-30秒）
4. 自动进行健康检查，确保服务正常

部署完成后，推理服务将自动启动并保持运行状态，可以立即进行推理测试。

服务管理

部署完成后，推理服务提供完整的状态监控和管理功能：

服务信息：

• Host地址和端口 - 推理API的HTTP和WebSocket访问地址
• 服务状态 - 实时显示服务运行状态（运行中、已停止、错误等）
• 容器信息 - Docker容器ID和运行状态
• 创建时间 - 服务创建和最后更新时间

资源监控：

• CPU使用率 - 实时显示CPU占用情况
• 内存使用 - 显示内存占用和峰值
• GPU使用率 - 如果使用GPU，显示GPU利用率和显存占用
• 网络IO - 显示网络流量统计

服务控制：

• 启动/停止 - 可以随时启动或停止推理服务
• 重启服务 - 重启服务以应用配置更改
• 删除服务 - 删除不需要的推理服务，释放资源

提示

服务管理建议：

• 部署后建议等待20-30秒确保服务完全启动
• 定期查看资源使用情况，避免资源耗尽
• 长时间不使用的服务可以停止以释放资源

模型输入输出规格

推理服务具备智能适配能力，可自动识别并适应不同模型的输入输出要求：

• 图像输入 - 智能适配相机数量（1个或多个视角）和分辨率（自动缩放）
• 状态输入 - observation.state [12]、observation.gripper [2]、observation.score [1]
• 动作输出 - action [12] 机器人关节控制指令

---

信息

以上信息展示了推理服务的完整配置，便于用户了解模型的输入输出要求，确保正确使用推理功能。

推理测试功能

模拟推理测试

模拟推理功能提供便捷的推理服务验证方式，无需准备真实数据即可快速测试模型：

功能特点：

• 自然语言任务输入 - 输入机器人执行指令，如"Pick up the apple and place it in the basket"

  • 支持中英文自然语言指令
  • 系统自动进行语言编码处理

• 智能数据生成 - 一键随机填充测试数据，快速生成测试输入

  • 自动生成符合模型要求的图像数据（随机像素或占位图像）
  • 自动填充关节状态数值（observation.state）
  • 自动填充夹爪状态（observation.gripper）
  • 所有数据格式自动适配模型输入要求

• 即时推理执行 - 点击"发送"按钮立即获得模型推理结果

  • 实时显示推理进度
  • 快速返回推理结果
  • 支持多次连续测试

• 性能指标显示 - 实时展示关键性能指标

  • 请求用时 - 从发送请求到收到响应的总时间（包括网络传输）
  • 推理用时 - 模型实际推理计算时间
  • 数据传输时间 - 数据上传和下载的时间
  • 帮助评估模型性能和系统延迟

• 结果可视化 - 推理结果以直观方式展示

  • 显示预测的关节位置（action）
  • 显示夹爪控制指令
  • 支持结果导出和保存

提示

模拟推理使用场景：

• 快速验证模型服务是否正常启动
• 测试模型的输入输出格式是否正确
• 评估推理服务的响应速度
• 验证自然语言指令的处理能力

MCAP文件测试

MCAP文件测试功能支持使用真实机器人演示数据进行推理验证，这是评估模型在实际场景下表现的最佳方式：

功能特点：

• 数据文件上传 - 选择包含完整机器人操作过程的MCAP数据文件

  • 支持从平台数据集直接选择
  • 支持本地上传MCAP文件
  • 自动验证文件格式和完整性

• 智能数据解析 - 系统自动提取和映射多模态数据

  • 图像序列提取 - 自动识别和提取相机图像话题
  • 关节状态提取 - 提取关节状态数据（joint_states）
  • 传感器数据提取 - 提取其他传感器数据（如夹爪状态等）
  • 时间戳对齐 - 自动对齐不同数据源的时间戳

• 输入映射配置 - 灵活配置模型输入与MCAP数据的映射关系

  • 图像输入映射 - 选择MCAP中的哪些相机话题映射到模型输入
  • 状态输入映射 - 配置关节状态、夹爪状态等数据的映射
  • 任务描述 - 为整个序列设置自然语言任务描述
  • 默认值设置 - 对于缺失的数据，可以设置默认值

• 序列批量推理 - 对完整动作序列进行连续推理

  • 支持按帧序列推理或按时间间隔推理
  • 可以设置推理的起始帧和结束帧
  • 支持跳过某些帧以提高推理速度
  • 实时显示推理进度和已完成帧数

• 效果对比分析 - 将推理结果与原始专家演示进行定量对比评估

  • 动作对比 - 对比推理动作与专家演示动作的差异
  • 轨迹可视化 - 可视化预测轨迹与真实轨迹
  • 误差统计 - 计算动作误差、位置误差等统计指标
  • 性能评估 - 评估模型在真实数据上的表现

• 结果导出 - 支持导出推理结果用于进一步分析

  • 导出推理动作序列
  • 导出对比分析报告
  • 导出可视化结果

提示

MCAP测试建议：

• 使用与训练数据相似场景的MCAP文件进行测试
• 对于长序列，可以分段测试以节省时间
• 关注动作误差和轨迹一致性，判断模型性能
• 对比不同检查点的推理效果，选择最佳模型

离线边缘部署

离线边缘部署功能将推理服务完整迁移到机器人本地GPU设备，实现生产级应用：

标准化部署流程

平台提供完整的离线部署方案，包含详细的部署步骤和所需文件：

1. 环境准备

• 在机器人控制器上安装Docker和nvidia-docker2（如使用GPU）
• 确保有足够的存储空间下载Docker镜像和模型文件
• 安装Python 3.8+及必要的依赖包（如需要）

2. 镜像下载

• 平台提供包含推理环境、模型权重和配置的完整Docker镜像下载链接
• 镜像包含所有必要的依赖和运行时环境
• 支持多种架构（x86_64、ARM等）

3. 模型文件准备

• 下载模型权重文件和配置文件
• 平台提供预打包的模型文件，包含检查点和配置
• 支持多种模型格式（PyTorch、ONNX等）

4. 服务启动

• 使用提供的Docker命令在本地启动推理服务
• 支持GPU加速（如果硬件支持）
• 自动配置端口和网络

5. 客户端连接

• 运行平台提供的ROS客户端脚本
• 建立与推理服务的实时通信（WebSocket + BSON协议）
• 订阅传感器话题，发布关节控制指令

6. 验证测试

• 运行测试脚本验证服务是否正常
• 检查推理延迟和准确性
• 确认ROS话题的订阅和发布正常

生产应用优势

边缘计算架构：

• 推理在机器人本地执行，完全消除网络延迟
• 不依赖外部网络连接，确保离线环境可用
• 减少数据传输，降低网络带宽需求

深度ROS集成：

• 无缝订阅ROS传感器话题（如/camera_01/color/image_raw、/joint_states等）
• 直接发布关节控制指令到ROS话题（如/joint_cmd）
• 支持标准ROS消息格式，与现有ROS系统完美集成

实时闭环控制：

• 支持高频率推理（2-10Hz），满足实时控制需求
• 低延迟推理（通常小于100ms），实现快速响应
• 稳定的时序一致性，确保控制精度

工业级可靠性：

• 适用于网络受限或安全要求较高的工业生产环境
• 数据不离开机器人本地，满足数据安全要求
• 容器化部署，易于管理和维护

灵活配置：

• 支持自定义推理参数
• 可以调整推理频率和批次大小
• 支持多模型切换和A/B测试

信息

离线部署适用场景：

• 生产环境中的实时机器人控制
• 网络不稳定或受限的环境
• 对延迟要求极高的应用场景
• 需要数据本地化的安全敏感场景

---

通过艾欧数据平台的推理服务，您可以将训练完成的机器人学习模型无缝部署到生产环境，从云端验证到边缘部署，实现完整的模型应用闭环。