跳到主要内容

数据上传

提示

大多数情况下不需要手动上传

艾欧数据采集设备支持一键批量自动上传。如果你使用的是艾欧的采集设备，数据会自动同步到平台，无需手动操作。

什么时候需要手动上传?

  • 从外部系统获得的数据文件
  • 使用其他设备采集的数据
  • 从公开数据集下载的数据
  • 需要重新上传之前删除的数据

如果经常需要手动上传，可以联系艾欧对接适配，实现自动化上传流程。

当你需要将外部数据导入平台时，数据上传功能提供了完整的解决方案。平台支持多种格式，并能自动转换为标准格式，让你无需关心技术细节。

数据上传界面

数据接入方式概览​

本地上传支持 BAG、视频、MCAP、LeRobot 等多种格式；视频与音频会在浏览器中转换为 MCAP。上传完成后数据出现在数据管理页面，可进行标注与导出。

快速上手:3 步完成上传​

第 1 步:选择项目和存储​

在页面顶部选择:

  • 项目:数据将归属到哪个项目(或个人空间)
  • 云存储:数据将存储在哪里(如果配置了多个云存储)

💡 小提示:如果只有一个云存储，系统会自动选择，无需手动设置。

第 2 步:选择文件类型​

根据你的数据格式，选择对应的文件类型:

  • MCAP:机器人多模态数据标准格式(推荐)
  • BAG:ROS 机器人数据(会自动转换为 MCAP)
  • 视频:MP4、AVI、MOV 等(会在浏览器中转换为 MCAP)
  • 音频:MP3、WAV 等(会转换为 MCAP)
  • 图片:JPG、PNG 等
  • HDF5:科学计算数据格式
  • LeRobot:LeRobot 格式数据集文件夹(3.4.0 新增)

选择文件类型后，系统会显示对应的上传界面。

第 3 步:上传文件​

拖拽上传:

直接将文件或文件夹拖拽到上传区域。支持:

  • 单个文件上传
  • 多个文件同时上传
  • 整个文件夹上传(LeRobot 格式)

点击上传:

点击上传区域，从文件选择器中选择文件。

上传开始后，系统会显示实时进度，包括:

  • 上传速度(如 5MB/s)
  • 已上传大小和总大小
  • 预计剩余时间

上传进度

格式转换详解​

视频文件如何转换为 MCAP?​

为什么需要转换?

MCAP 是机器人数据的标准格式，统一格式便于后续的标注、导出和训练。视频文件转换为 MCAP 后，可以在平台中正常播放和处理。

转换过程:

  1. 选择视频文件:支持 MP4、AVI、MOV、MKV 等主流格式
  2. 配置转换参数(可选):
    • 图像画质:20%、50%、70%、100%(默认 70%)
      • 画质越高，文件越大，转换时间越长
      • 70% 画质在质量和大小之间取得平衡
    • 视频帧率:自动、10 FPS、15 FPS、30 FPS(默认自动)
      • 自动模式会根据原视频帧率选择
      • 降低帧率可以减小文件大小
    • 包含音频:是否保留视频中的音频轨道
  3. 开始转换:系统在浏览器中实时转换，无需服务器处理
  4. 自动上传:转换完成后自动上传到云存储

转换时间估算:

  • 1 分钟视频，70% 画质:约 30 秒
  • 5 分钟视频，70% 画质:约 2-3 分钟
  • 10 分钟视频，70% 画质:约 5-6 分钟

💡 建议:如果视频很长，可以先降低画质和帧率，上传后再决定是否需要高质量版本。

浏览器兼容性:

注意

视频转换需要浏览器支持 MediaStreamTrackProcessor API。目前只有 Chrome 94+ 和 Edge 94+ 支持。

如果使用 Firefox 或 Safari，系统会显示明确的错误提示。建议:

  1. 使用 Chrome 或 Edge 浏览器
  2. 或者先将视频转换为 MCAP 格式后再上传
  3. 联系技术支持获取其他解决方案

音频文件如何转换为 MCAP?​

音频文件会自动转换为 ROS 标准的 AudioData 消息格式:

  • 支持格式:MP3、WAV、AAC、OGG 等
  • 自动提取元数据:采样率、声道数、格式等
  • 消息频率:固定为 10Hz，确保与机器人数据同步
  • 多声道支持:自动处理多声道音频

转换过程在浏览器中完成，无需额外配置。

BAG 文件如何转换为 MCAP?​

BAG 文件是 ROS 机器人数据的标准格式。上传 BAG 文件后:

  • 自动识别:系统自动识别 ROS1 或 ROS2 格式
  • 提取话题:提取所有话题和消息
  • 保持完整性:时间戳和消息结构完全保留
  • 后台转换:转换在服务器后台进行，无需等待

转换后的 MCAP 文件可以在平台中正常使用，所有功能与原生 MCAP 文件相同。

LeRobot 格式如何上传?(3.4.0 新增)​

LeRobot 是一个流行的机器人学习框架。如果你有 LeRobot 格式的数据集:

上传步骤:

  1. 选择"LeRobot"文件类型
  2. 选择整个数据集文件夹(不是单个文件)
  3. 系统会自动验证格式:
    • 检查是否存在 meta/info.json 文件
    • 验证数据集结构是否正确
    • 显示数据集特征摘要
  4. 验证通过后，系统会打包为 tar 文件并上传

格式要求:

LeRobot v2/v3 格式需要包含:

  • meta/info.json:数据集元信息
  • data/:数据文件目录
  • 其他必要的配置文件

注意事项:

  • 隐藏文件(以 . 开头)会被自动排除
  • 文件夹大小建议不超过 50GB
  • 上传大文件夹可能需要较长时间

进阶使用​

如何处理上传失败?​

常见失败原因:

  1. 网络中断:上传过程中网络断开

    • 解决方案:系统支持断点续传，网络恢复后自动继续

  2. 文件损坏:文件格式错误或文件不完整

    • 解决方案:检查文件是否完整，重新下载或修复文件

  3. 存储空间不足:云存储空间已满

    • 解决方案:联系管理员清理空间或扩容

  4. 格式不支持:文件格式不在支持列表中

    • 解决方案:查看支持格式列表，或联系技术支持

重试上传:

如果上传失败，可以:

  1. 查看错误信息，了解失败原因
  2. 修复问题后，点击"重试"按钮
  3. 系统会从断点继续上传，不会重复已上传的部分

如何恢复误删的数据?​

如果你重新上传了之前删除(软删除)的数据集，系统会检测到同名数据:

恢复选项:

  • 恢复现有数据集:保留所有历史信息(推荐)

    • ✅ 保留原有的标注数据
    • ✅ 保留任务关联
    • ✅ 保留数据标签和元数据
    • ✅ 保留访问和操作日志

  • 创建新数据集:忽略历史数据，创建全新记录

    • 适用于全新上传的数据文件
    • 不会保留任何历史信息

💡 建议:如果数据曾被误删，选择"恢复现有数据集"可以保留所有标注和任务关联。

如何批量上传?​

批量上传模式:

  1. 在上传页面选择"批量上传"模式
  2. 选择多个文件或文件夹
  3. 系统会创建上传队列，逐个处理

队列管理:

  • 查看进度:实时查看每个文件的上传进度
  • 暂停/恢复:可以暂停或恢复上传任务
  • 取消任务:取消不需要的上传任务
  • 查看历史:查看所有上传历史记录

批量上传建议:

  • 一次不要上传太多文件(建议不超过 100 个)
  • 大文件建议单独上传，避免阻塞队列
  • 网络不稳定时，使用批量上传可以自动重试

上传历史记录​

系统会记录所有上传历史，包括:

记录信息:

  • 文件信息:文件名、大小、格式、上传时间
  • 处理状态:待处理、转换中、上传中、已完成、失败
  • 进度信息:实时显示上传和转换进度百分比
  • 结果信息:创建的数据集 ID 和链接(上传成功后)
  • 错误信息:如果失败，显示详细的错误原因

状态说明:

  • pending(待处理):文件已选择，等待开始处理
  • processing(处理中):正在转换或上传中
  • converting(转换中):视频/音频文件正在转换为 MCAP 格式
  • uploading(上传中):文件正在上传到云存储
  • completed(已完成):文件上传成功，数据集已创建
  • error(错误):处理过程中出现错误
  • cancelled(已取消):用户主动取消上传

查看数据集:

上传成功后，可以:

  • 点击"查看数据集"快速跳转到创建的数据集页面
  • 在数据管理页面搜索数据集名称找到它

常见问题​

为什么视频转换很慢?​

视频转换速度取决于:

  • 视频长度:视频越长，转换时间越长
  • 视频分辨率:分辨率越高，转换时间越长
  • 画质设置:画质越高，转换时间越长
  • 浏览器性能:Chrome 性能通常比 Edge 更好

优化建议:

  1. 降低画质设置(如从 100% 降到 70%)
  2. 降低帧率(如从 30 FPS 降到 15 FPS)
  3. 使用性能更好的浏览器
  4. 对于很长的视频，考虑先剪辑再上传

上传大文件时需要注意什么?​

文件大小限制:

  • 单文件建议不超过 50GB
  • 如果文件很大，系统会自动使用分片上传

上传时间估算:

  • 1GB 文件，10MB/s 网速:约 2 分钟
  • 10GB 文件，10MB/s 网速:约 20 分钟
  • 50GB 文件，10MB/s 网速:约 1.5 小时

建议:

  1. 确保网络稳定，避免中途断开
  2. 大文件上传时不要关闭浏览器标签页
  3. 如果网络不稳定，可以分多次上传较小的文件
  4. 使用批量上传功能，系统会自动处理断点续传

如何知道文件是否上传成功?​

成功标志:

  1. 上传进度显示 100%
  2. 状态显示"已完成"
  3. 显示"查看数据集"链接
  4. 在数据管理页面可以搜索到该数据集

验证方法:

  1. 点击"查看数据集"链接，确认数据集已创建
  2. 在数据管理页面搜索数据集名称
  3. 检查数据集信息是否正确(大小、时长等)

重复上传相同文件会怎样?​

系统会检测重复上传:

  • 同名文件:如果上传同名文件，系统会提示是否覆盖
  • 相同内容:如果文件内容相同，系统会检测并提示
  • 已删除数据:如果数据曾被删除，系统会提示是否恢复

建议:

  • 上传前检查是否已存在相同数据
  • 如果数据曾被误删，选择"恢复现有数据集"
  • 如果是新数据，选择"创建新数据集"

适用角色​

管理员​

你可以:

  • 配置云存储和上传参数
  • 管理不同云存储的配置
  • 监控上传状态和存储使用情况
  • 设置不同用户的上传权限

项目经理​

你可以:

  • 为项目上传相关数据
  • 按项目组织上传的数据
  • 确保上传数据的质量
  • 指导团队成员正确上传数据

采集员​

你可以:

  • 上传采集到的原始数据
  • 批量上传采集任务的数据
  • 将采集数据转换为标准格式
  • 更新采集任务状态

标注员​

你可以:

  • 上传需要标注的数据
  • 上传标注参考数据
  • 上传标注结果数据

相关功能​

完成数据上传后，你可能还需要: