跳到主要内容

数据上传

功能概述​

提示

艾欧数据采集设备支持一键批量自动上传，一般不需要用户手动上传数据。除非是来自外部系统的数据。可以联系艾欧对接适配，以尽量实现自动化上传流程，无需手动上传。

平台支持多种格式的数据文件上传和在线处理。平台提供智能转码、格式校验、进度监控等功能，确保数据能够顺利进入标注流程。

主要功能​

多格式文件支持​

机器人数据格式​

平台支持多种机器人数据格式：MCAP文件作为机器人多模态数据的标准格式，推荐用于机器人数据；BAG文件作为ROS机器人数据的标准格式，支持自动转换为MCAP；HDF5文件作为科学计算数据格式，支持机器人状态数据。

媒体文件格式​

支持主流的媒体文件格式：视频文件包括MP4、AVI、MOV、MKV等，音频文件包括MP3、WAV、AAC、OGG等，图片文件包括JPG、PNG、BMP、TIFF等。这些格式覆盖了绝大多数数据采集场景。

自动格式转换​

系统提供智能的格式转换功能，支持多种格式自动转换为标准的MCAP格式：

视频转MCAP：

  • 支持MP4、AVI、MOV、MKV等主流视频格式
  • 在浏览器中实时转换，无需服务器处理
  • 可配置转换参数：
    • 图像画质：20%、50%、70%、100%（默认70%）
    • 视频帧率：自动、10 FPS、15 FPS、30 FPS（默认自动）
    • 包含音频：可选择是否保留视频中的音频轨道
  • 转换过程显示实时进度
  • 转换后的MCAP文件自动上传

音频转MCAP：

  • 支持MP3、WAV、AAC、OGG等主流音频格式
  • 自动提取音频采样率、声道数等元数据
  • 将音频数据转换为ROS标准的AudioData消息格式
  • 支持多声道音频处理
  • 音频消息频率固定为10Hz，确保与机器人数据同步

BAG转MCAP：

  • 支持ROS1和ROS2的BAG文件格式
  • 自动提取所有话题和消息
  • 保持时间戳和消息结构完整性
  • 转换后的MCAP文件可在平台中正常使用

浏览器兼容性检测：

注意

视频转换功能需要浏览器支持MediaStreamTrackProcessor API，目前只有最新版本的Chrome和Edge浏览器支持此功能。

平台会自动检测浏览器是否支持视频转换：

  • 兼容浏览器：Chrome 94+、Edge 94+（完全支持）
  • 不兼容浏览器：Firefox、Safari等（会显示明确的错误提示）
  • 自动检测：上传视频文件时，系统会自动检测浏览器兼容性
  • 友好提示：不支持时会提示用户使用Chrome或Edge浏览器

如果您的浏览器不支持视频转换，建议：

  1. 使用最新版本的Chrome或Edge浏览器
  2. 或者先将视频转换为MCAP格式后再上传
  3. 联系技术支持获取其他解决方案

项目与存储管理​

项目选择​

系统显示所有可访问的项目，包括个人空间、共享项目、私有项目等不同类型。根据用户权限显示可访问项目，确保数据安全和访问控制。

云存储选择​

支持多种云存储服务：腾讯云COS（支持多个地域）、阿里云OSS、华为云OBS、自建MinIO存储等。用户可以在不同存储间切换，选择最适合的存储方案。

智能上传功能​

拖拽上传​

支持文件拖拽到上传区域，可以同时上传多个文件，甚至支持整个文件夹上传。这种直观的上传方式大大提高了用户体验。

进度监控​

实时显示每个文件的上传进度，包括当前上传速度、剩余时间等信息。当上传失败时，系统会显示具体的错误原因，帮助用户快速定位问题。

断点续传​

当网络中断时，系统会自动恢复上传，确保文件上传完整性。同时具备重复上传检测功能，避免重复上传相同文件，节省时间和带宽。

软删除数据集恢复：

平台支持智能的数据集恢复功能。当您重新上传之前已删除（软删除）的数据集时：

  • 自动检测 - 系统会自动检测是否存在同名的软删除数据集
  • 恢复选项 - 如果检测到软删除数据集，可以选择：
    • 恢复现有数据集 - 恢复软删除的数据集，保留原有的标注、任务关联等信息
    • 创建新数据集 - 忽略软删除的数据集，创建全新的数据集记录
  • 数据保护 - 恢复操作会保留数据集的所有历史信息，包括：
    • 原有的标注数据
    • 关联的标注任务
    • 数据集标签和元数据
    • 访问和操作日志
提示

数据恢复建议：

  • 如果数据曾被误删，建议选择"恢复现有数据集"以保留历史信息
  • 如果是全新的数据文件，可以选择"创建新数据集"
  • 恢复的数据集会自动从回收站中移除

数据预处理​

格式校验​

系统会自动验证文件格式是否正确，检查文件是否损坏，检测视频/音频编码格式，检查视频分辨率和帧率等。这些校验确保上传的数据符合平台要求。

自动转码​

提供智能的转码功能，确保数据在平台中能够正常使用：

视频转码：

  • 将视频转换为标准MCAP格式
  • 支持自定义画质和帧率设置
  • 自动处理视频编码格式
  • 保持视频质量的同时优化文件大小

音频转码：

  • 将音频转换为MCAP格式的AudioData消息
  • 自动提取音频元数据（采样率、声道数、格式等）
  • 转换为ROS标准消息格式
  • 保持音频质量，支持无损转换

格式标准化：

  • 自动将不同来源的数据统一为标准格式
  • 处理编码差异和格式兼容性问题
  • 确保数据在平台中能够正常播放和处理

压缩优化：

  • 自动压缩大文件以减少存储空间
  • 在压缩的同时保持数据质量
  • 支持选择压缩级别
  • 优化传输速度

元数据提取​

系统会自动提取各种元数据：视频信息（时长、分辨率、帧率等）、音频信息（时长、采样率、声道等）、机器人数据（传感器数据信息）、时间戳（数据采集时间）等。这些元数据为后续的数据管理提供重要信息。

上传管理​

上传队列​

提供完善的上传队列管理功能：管理待上传文件队列，设置文件上传优先级，暂停或恢复上传任务，取消不需要的上传任务。这些功能让用户能够灵活控制上传过程。

历史记录​

记录所有上传历史，提供完整的上传任务跟踪和管理功能：

上传记录信息：

  • 文件信息 - 文件名、大小、格式、上传时间
  • 处理状态 - 待处理、转换中、上传中、已完成、失败
  • 进度信息 - 实时显示上传和转换进度百分比
  • 结果信息 - 创建的数据集ID和链接（上传成功后）
  • 错误信息 - 如果失败，显示详细的错误原因

上传状态跟踪：

  • pending（待处理）- 文件已选择，等待开始处理
  • processing（处理中）- 正在转换或上传中
  • converting（转换中）- 视频/音频文件正在转换为MCAP格式
  • uploading（上传中）- 文件正在上传到云存储
  • completed（已完成）- 文件上传成功，数据集已创建
  • error（错误）- 处理过程中出现错误
  • cancelled（已取消）- 用户主动取消上传

任务管理：

  • 取消上传 - 可以随时取消正在进行的上传任务
  • 重试上传 - 失败的任务可以重新尝试上传
  • 查看数据集 - 上传成功后，可以快速跳转到创建的数据集页面
  • 批量操作 - 支持批量查看和管理多个上传任务

错误处理：

  • 自动显示错误信息，帮助快速定位问题
  • 常见错误提示和处理建议
  • 支持查看详细错误日志
  • 失败任务支持一键重试

适用角色​

管理员​

作为平台管理员，您可以配置云存储和上传参数，管理不同云存储的配置，监控上传状态和存储使用情况，并设置不同用户的上传权限。这些功能确保平台的上传服务稳定可靠。

项目经理​

项目经理可以为项目上传相关数据，按项目组织上传的数据，确保上传数据的质量，并指导团队成员正确上传数据。通过数据上传模块，项目经理能够有效管理项目的数据资源。

采集员​

采集员可以上传采集到的原始数据，批量上传采集任务的数据，将采集数据转换为标准格式，并更新采集任务状态。这些功能帮助采集员高效完成数据采集工作。

标注员​

标注员可以上传需要标注的数据，上传标注参考数据，以及上传标注结果数据。这些功能支持标注员完成各种标注任务。