模型推理
艾欧数据平台提供完整的模型推理服务，支持将训练完成的机器人学习模型一键部署为生产级推理服务。平台支持多种模型格式和灵活的部署方式，为机器人应用提供从云端到边缘的全场景AI推理能力。
产品特色
平台提供从模型训练到推理部署的完整链路，支持多种推理验证和部署方式
| 推理方式 | 适用场景 | 说明 |
|---|---|---|
| 模拟推理测试 | 快速验证 | 使用随机数据或自定义输入，快速验证模型推理功能和性能 |
| MCAP文件测试 | 真实数据验证 | 使用录制好的机器人演示数据，验证模型在真实场景下的推理效果 |
| 离线边缘部署 | 生产环境应用 | 将推理服务部署到机器人本地GPU，实现低延迟的实时控制 |
推理工作流程
平台提供产品化的推理部署流程，通过可视化界面实现从模型选择到生产部署的完整操作，无需编程经验：
1. 模型来源选择
平台支持多种模型来源：
- 使用微调模型 - 选择平台上训练完成的模型，自动继承训练配置
- 上传自定义模型 - 支持SafeTensors、PyTorch、ONNX等主流格式
- 使用预训练模型 - 提供经过验证的基础模型，快速启动
2. 服务配置与部署
部署完成后，推理服务提供完整的状态监控：
服务信息
- Host地址和端口 - 推理API的访问地址
- WebSocket连接 - 实时推理的连接信息
- 资源使用 - CPU和内存使用情况实时监控
- 容器状态 - Docker容器运行状态和ID
模型 输入输出规格
推理服务具备智能适配能力，可自动识别并适应不同模型的输入输出要求：
- 图像输入 - 智能适配相机数量（1个或多个视角）和分辨率（自动缩放）
- 状态输入 - observation.state [12]、observation.gripper [2]、observation.score [1]
- 动作输出 - action [12] 机器人关节控制指令
信息
以上信息展示了推理服务的完整配置，便于用户了解模型的输入输出要求，确保正确使用推理功能。
推理测试功能
模拟推理测试
模拟推理功能提供便捷的推理服务验证方式：
- 自然语言任务 - 输入机器人执行指令，如"Pick up the apple and place it in the basket"
- 智能数据生成 - 一键随机填充测试数据，包括图像文件和关节状态数值
- 即时推理执行 - 点击发送按钮立即获得模型推理结果
- 性能指标显示 - 实时展示请求用时(2479ms)和推理用时(2356ms)等关键指标
MCAP文件测试
MCAP文件测试功能支持使用真实机器人演示数据进行推理验证：
- 数据文件上传 - 选择包含完整机器人操作过程的MCAP数据文件
- 智能数据解析 - 系统自动提取多模态数据（图像序列、关节状态、传感器数据）
- 序列批量推理 - 对完整动作序列进行连续推理，验证模型的时序一致性
- 效果对比分析 - 将推理结果与原始专家演示进行定量对比评估
离线边缘部署
离线边缘部署功能将推理服务完整迁移到机器人本地GPU设备，实现生产级应用：
标准化部署流程
- 环境准备 - 在机器人控制器上安装必要的Python依赖包
- 镜像下载 - 获取包含推理环境、模型权重和配置的完整Docker镜像
- 服务启动 - 通过Docker命令在本地GPU上启动推理服务
- 客户端连接 - 运行ROS客户端脚本，建立与推理服务的实时通信
生产应用优势
- 边缘计算架构 - 推理在机器人本地执行，彻底消除网络延迟和依赖
- 深度ROS集成 - 无缝订阅传感器话题，直接发布关节控制指令
- 实时闭环控制 - 支持高频率（2-10Hz）的感知-决策-执行闭环
- 工业级可靠性 - 适用于网络受限或安全要求较高的工业生产环境
通过艾欧数据平台的推理服务，您可以将训练完成的机器人学习模型无缝部署到生产环境，从云端验证到边缘部署，实现完整的模型应用闭环。