Загрузка данных
Обзор функций
Устройства сбора данных IO поддерживают автоматическую массовую загрузку одним кликом, обычно ручная загрузка не требуется. За исключением данных из внешних систем. Вы можете связаться с IO для адаптации, чтобы максимально автоматизировать процессы загрузки, устранив необходимость ручной загрузки.
Загрузка данных является точкой входа данных платформы IO, поддерживая загрузку файлов данных в различных форматах и их онлайн-обработку. Платформа предоставляет интеллектуальное транскодирование, проверку форматов, мониторинг прогресса и другие функции, обеспечивая плавный вход данных в рабочий процесс аннотации.
Основные функции
Поддержка многоформатных файлов
Форматы данных роботов
Платформа поддерживает различные форматы данных роботов: файлы MCAP как стандартный формат многомодальных данных роботов, рекомендуемый для данных роботов; файлы BAG как стандартный формат данных роботов ROS, поддерживающий автоматическое преобразование в MCAP; файлы HDF5 как формат научных вычислений, поддерживающий данные состояния роботов.
Форматы медиафайлов
Поддерживает основные форматы медиафайлов: видеофайлы включают MP4, AVI, MOV, MKV и т.д., аудиофайлы включают MP3, WAV, AAC, OGG и т.д., графические файлы включают JPG, PNG, BMP, TIFF и т.д. Эти форматы покрывают подавляющее большинство сценариев сбора данных.
Автоматическое преобразование форматов
Система предоставляет интеллектуальные функции преобразования форматов: преобразование видеофайлов в формат MCAP в реальном времени, преобразование аудиофайлов в формат MCAP, преобразование файлов ROS BAG в формат MCAP, поддержка пакетной обработки и преобразования изображений. Эти процессы преобразования прозрачны для пользователей, обеспечивая плавный вход данных в последующие рабочие процессы.
Управление проектами и хранилищем
Выбор проекта
Система отображает все доступные проекты, включая личные пространства, общие проекты, частные проекты и другие различные типы. В соответствии с правами пользователей отображаются доступные проекты, обеспечивая безопасность данных и контроль доступа.
Выбор облачного хранилища
Поддерживает различные облачные сервисы хранения: Tencent Cloud COS (поддержка нескольких регионов), Alibaba Cloud OSS, Huawei Cloud OBS, собственное хранилище MinIO и т.д. Пользователи могут переключаться между различными вариантами хранения и выбирать наиболее подходящее решение для хранения.
Функции интеллектуальной загрузки
Загрузка перетаскиванием
Поддерживает перетаскивание файлов в область загрузки, может загружать несколько файлов одновременно, даже поддерживает загрузку целых папок. Этот интуитивный метод загрузки значительно улучшает пользовательский опыт.
Мониторинг прогресса
Отображает прогресс загрузки каждого файла в реальном времени, включая текущую скорость загрузки, оставшееся время и другую информацию. При сбое загрузки система отображает конкретные причины ошибок, помогая пользователям быстро определить проблемы.
Возобновление загрузки
При прерывании сети система автоматически возобновляет загрузку, обеспечивая целостность загрузки файлов. Также имеет функцию обнаружения дублирующих загрузок, избегая повторной загрузки одинаковых файлов, экономя время и пропускную способность.
Предварительная обработка данных
Проверка форматов
Система автоматически проверяет правильность форматов файлов, проверяет, не повреждены ли файлы, обнаруживает форматы кодирования видео/аудио, проверяет разрешение и частоту кадров видео и т.д. Эти проверки обеспечивают соответствие загруженных данных требованиям платформы.
Автоматическое транскодирование
Предоставляет интеллектуальные функции транскодирования: преобразование видео в стандартные форматы, преобразование аудио в стандартные форматы, автоматическое сжатие больших файлов при сохранении качества данных. Эти процессы обеспечивают нормальное использование данных в платформе.
Извлечение метаданных
Система автоматически извлекает различные метаданные: информацию о видео (продолжительность, разрешение, частота кадров и т.д.), информацию об аудио (продолжительность, частота дискретизации, каналы и т.д.), данные роботов (информация о данных датчиков), временные метки (время сбора данных) и т.д. Эти метаданные предоставляют важную информацию для последующего управления данными.
Управление загрузкой
Очередь загрузки
Предоставляет полные функции управления очередью загрузки: управление очередью файлов, ожидающих загрузки, установка приоритетов загрузки файлов, приостановка или возобновление задач загрузки, отмена ненужных задач загрузки. Эти функции позволяют пользователям гибко контролировать процесс загрузки.
История записей
Записывает всю историю загрузок, отслеживает состояние обработки файлов, отображает информацию об ошибках неудачных загрузок, поддерживает повторную загрузку неудачных файлов. Эти функции помогают пользователям управлять задачами загрузки и своевременно решать проблемы.
Применимые роли
Администратор
Как администратор платформы, вы можете настраивать облачное хранилище и параметры загрузки, управлять конфигурациями различных облач ных хранилищ, мониторить состояние загрузки и использование хранилища, устанавливать права загрузки для различных пользователей. Эти функции обеспечивают стабильную и надежную службу загрузки платформы.
Менеджер проекта
Менеджеры проектов могут загружать данные, связанные с проектами, организовывать загруженные данные по проектам, обеспечивать качество загруженных данных, направлять членов команды в правильной загрузке данных. Через модуль загрузки данных менеджеры проектов могут эффективно управлять ресурсами данных проекта.
Сборщик данных
Сборщики данных могут загружать собранные исходные данные, массово загружать данные из задач сбора, преобразовывать собранные данные в стандартные форматы, обновлять состояние задач сбора. Эти функции помогают сборщикам данных эффективно завершать работу по сбору данных.
Аннотатор
Аннотаторы могут загружать данные, требующие аннотации, загружать справочные данные для аннотации, загружать данные результатов аннотации. Эти функции поддерживают аннотаторов в выполнении различных задач аннотации.