数据上传
功能概述
艾欧数据采集设备支持一键批量自动上传,一般不需要用户手动上传数据。除非是来自外部系统的数据。可以联系艾欧对接适配,以尽量实现自动化上传流程,无需手动上传。
平台支持多种格式的数据文件上传和在线处理。平台提供智能转码、格式校验、进度监控等功能,确保数据能够顺利进入标注流程。
主要功能
多格式文件支持
机器人数据格式
平台支持多种机器人数据格式:MCAP文件作为机器人多模态数据的标准格式,推荐用于机器人数据;BAG文件作为ROS机器人数据的标准格式,支持自动转换为MCAP;HDF5文件作为科学计算数据格式,支持机器人状态数据。
媒体文件格式
支持主流的媒体文件格式:视频文件包括MP4、AVI、MOV、MKV等,音频文件包括MP3、WAV、AAC、OGG等,图片文件包括JPG、PNG、BMP、TIFF等。这些格式覆盖了绝大多数数据采集场景。
自动格式转换
系统提供智能的格式转换功能:将视频文件实时转换为MCAP格式,将音频文件转换为MCAP格式,将ROS BAG文件转换为MCAP格式,并支持图片批量处理和格式转换。这些转换过程对用户透明,确保数据能够顺利进入后续流程。
项目与存储管理
项目选择
系统显示所有可访问的项目,包括个人空间、共享项目、私有项目等不同类型。根据用户权限显示可访问项目,确保数据安全和访问控制。
云存储选择
支持多种云存储服务:腾讯云COS(支持多个地域)、阿里云OSS、华为云OBS、自建MinIO存储等。用户可以在不同存储间切换,选择最适合的存储方案。
智能上传功能
拖拽上传
支持文件拖拽到上传区域,可以同时上传多个文件,甚至支持整个文件夹上传。这种直观的上传方式大大提高了用户体验。
进度监控
实时显示每个文件的上传进度,包括当前上传速度、剩余时间等信息。当上传失败时,系统会显示具体的错误原因,帮助用户快速定位问题。
断点续传
当网络中断时,系统会自动恢复上传,确保文件上传完整性。同时具备重复上传检测功能,避免重复上传相同文件,节省时间和带宽。
数据预处理
格式校验
系统会自动验证文件格式是否正确,检查文件是否损坏,检测视频/音频编码格式,检查视频分辨率和帧率等。这些校验确保上传的数据符合平台要求。
自动转码
提供智能的转码功能:将视频转换为标准格式,将音频转换为标准格式,自动压缩大文件,在压缩的同时保持数据质量。这些处理确保数据在平台中能够正常使用。
元数据提取
系统会自动提取各种元数据:视频信息(时长、分辨率、帧率等)、音频信息(时长、采样率、声道等)、机器人数据(传感器数据信息)、时间戳(数据采集时间)等。这些元数据为后续的数据管理提供重要信息。
上传管理
上传队列
提供完善的上传队列管理功能:管理待上传文件队列,设置文件上传优先级,暂停或恢复上传任务,取消不需要的上传任务。这些功能让用户能够灵活控制上传过程。
历史记录
记录所有上传历史,跟踪文件处理状态,查看上传失败的错误信息,支持重新上传失败的文件。这些功能帮助用户管理上传任务,及时处理问题。
适用角色
管理员
作为平台管理员,您可以配置云存储和上传参数,管理不同云存储的配置,监控上传状态和存储使用情况,并设置不同用户的上传权限。这些功能确保平台的上传服务稳定可靠。
项目经理
项目经理可以为项目上传相关数据,按项目组织上传的数据,确保上传数据的质量,并指导团队成员正确上传数据。通过数据上传模块,项目经理能够有效管理项目的数据资源。
采集员
采集员可以上传采集到的原始数据,批量上传采集任务的数据,将采集数据转换为标准格式,并更新采集任务状态。这些功能帮助采集员高效完成数据采集工作。
标注员
标注员可以上传需要标注的数据,上传标注参考数据,以及上传标注结果数据。这些功能支持标注员完成各种标注任务。