Перейти к основному содержимому

Экспорт данных

Обзор функций​

Экспорт данных является важным модулем доставки данных платформы IO, предоставляя функциональность экспорта аннотированных данных в множественные стандартные форматы, включая JSON, CSV, HDF5, LeRobot, MCap и т.д. Через гибкие условия фильтрации, функциональность массового экспорта и управление историей экспорта, это обеспечивает доставку аннотированных данных в наиболее подходящем формате к нисходящим системам, поддерживая обучение моделей, анализ данных и различные сценарии применения.

Основные функции​

Поддержка экспорта в множественные форматы​

Стандартные форматы данных​

Поддерживает экспорт в множественные стандартные форматы данных, включая JSON (структурированные данные), CSV (табличные данные), HDF5 (данные научных вычислений), LeRobot (данные обучения роботов), MCap (многомодальные данные) и т.д. Эти форматы покрывают подавляющее большинство потребностей нисходящих приложений.

Пользовательские форматы​

Поддерживает настройку форматов экспорта на основе конкретных потребностей, включая выбор полей, преобразование данных, конфигурацию форматов и т.д. Через пользовательские форматы можно удовлетворить потребности экспорта данных для специальных сценариев.

Преобразование форматов​

Предоставляет интеллектуальную функциональность преобразования форматов, позволяя преобразовывать данные из одного формата в другой, обеспечивая совместимость данных между различными системами. Процесс преобразования поддерживает проверку данных и контроль качества.

Функция гибкой фильтрации​

Многомерная фильтрация​

Поддерживает фильтрацию данных по множественным измерениям, таким как проект, время, аннотатор, уровень качества и т.д. Через гибкие условия фильтрации можно точно выбирать данные, которые необходимо экспортировать.

Расширенная фильтрация​

Предоставляет функциональность расширенной фильтрации, поддерживая сложные комбинации условий фильтрации, включая логические операции, фильтрацию по диапазонам, нечеткое сопоставление и т.д. Расширенная фильтрация позволяет точно контролировать диапазон экспортируемых данных.

Функция предварительного просмотра​

Предоставляет функциональность предварительного просмотра данных перед экспортом, позволяя просматривать результаты фильтрации и подтверждать, что экспортируемые данные соответствуют ожиданиям. Функция предварительного просмотра избегает ненужных операций экспорта.

Управление массовым экспортом​

Массовая обработка​

Поддерживает массовый экспорт множественных наборов данных, может одновременно обрабатывать множественные задачи экспорта, значительно повышая эффективность экспорта. Массовая обработка особенно подходит для сценариев экспорта больших объемов данных.

Очередь задач​

Предоставляет управление очередью задач экспорта, поддерживая постановку в очередь и выполнение множественных задач экспорта. Через очередь задач можно упорядоченно обрабатывать большое количество запросов экспорта.

Мониторинг прогресса​

Мониторинг прогресса экспорта в реальном времени, включая количество завершенных, скорость обработки, предполагаемое время завершения и т.д. Через мониторинг прогресса можно своевременно понимать статус экспорта.

Управление историей экспорта​

Записи истории​

Записывает историю всех операций экспорта, включая время экспорта, формат экспорта, объем данных, оператора и т.д. Через записи истории можно отслеживать использование данных.

Управление версиями​

Поддерживает управление версиями экспортированных данных, может сохранять различные версии результатов экспорта, облегчая возврат и сравнение данных. Управление версиями обеспечивает отслеживаемость данных.

Контроль разрешений​

Предоставляет детальный контроль разрешений, может устанавливать права экспорта различных пользователей для различных данных. Через контроль разрешений обеспечивается безопасность данных и предотвращается несанкционированный экспорт.

Применимые роли​

Администратор​

Как администратор платформы, вы можете доставлять данные обучения или данные, необходимые для нисходящего анализа, внешне, управлять задачами экспорта, мониторить прогресс экспорта и контролировать права экспорта данных. Эти функции обеспечивают безопасную и эффективную службу доставки данных платформы.

Менеджер проекта​

Менеджеры проектов могут экспортировать данные, связанные с проектами, подготавливать данные для доставки проекта, мониторить использование данных и координировать работу экспорта данных. Через управление экспортом данных менеджеры проектов могут эффективно контролировать доставку данных проекта.