Перейти к основному содержимому

Задачи аннотации

Обзор функций​

Управление задачами аннотации является основным модулем рабочего процесса платформы IO, предоставляя полную функциональность управления жизненным циклом задач. Через группировку по статусам, отслеживание прогресса, контроль качества и командное сотрудничество, это обеспечивает эффективное и упорядоченное проведение работы по аннотации.

Основные функции​

Управление статусами задач​

Группировка по статусам​

Система разделяет задачи на пять основных статусов: ожидание начала (задачи, созданные, но еще не начатые), в работе (задачи, которые в настоящее время аннотируются), ожидание проверки (задачи аннотации, завершенные и ожидающие рецензирования), проверка пройдена (задачи аннотации, прошедшие рецензирование), данные отправлены (данные, отправленные для обучения). Эта группировка по статусам позволяет вам четко понимать текущий статус каждой задачи.

Поток статусов​

Задачи проходят следующий поток статусов в своем жизненном цикле: после создания задачи входят в статус ожидания начала, после начала аннотации изменяются на в работе, после завершения аннотации входят в ожидание проверки, после прохождения рецензирования изменяются на проверка пройдена, если рецензирование не пройдено, возвращаются в работу для повторной аннотации, в конечном итоге после отправки данных изменяются на данные отправлены. Этот процесс обеспечивает упорядоченное проведение работы по аннотации.

Создание и назначение задач​

Создание задач​

При создании задач необходимо выбрать данные для аннотации на странице данных, установить название задачи, описание, приоритет, указать аннотаторов и рецензентов, выбрать проект, к которому принадлежит задача, и установить время завершения задачи. Эти конфигурации обеспечивают выполнение задач в соответствии с ожиданиями.

Массовые операции​

Система поддерживает массовое создание множественных задач аннотации, массовое назначение задач аннотаторам, массовое изменение атрибутов задач, а также массовое удаление ненужных задач. Эти массовые операции значительно повышают эффективность управления задачами, особенно при обработке большого количества задач.

Отслеживание и мониторинг прогресса​

Прогресс в реальном времени​

Система отображает процент завершения задач, предполагаемое оставшееся время завершения, статистику качества аннотации и анализ трендов эффективности аннотации в реальном времени. Эта информация помогает вам своевременно понимать прогресс задач и вносить соответствующие корректировки.

Отчеты о прогрессе​

Предоставляет различные отчеты, такие как личный прогресс (личный рабочий прогресс аннотатора), командный прогресс (общий командный рабочий прогресс), прогресс проекта (статистика прогресса на уровне проекта), отчеты о качестве (отчеты анализа качества аннотации), удовлетворяя потребности управления на различных уровнях.

Система контроля качества​

Механизмы рецензирования​

Система предоставляет множественные механизмы рецензирования: автоматическая проверка качества на основе правил, ручная проверка качества рецензентами, выборочная проверка качества, полное рецензирование всех аннотаций. Эти механизмы обеспечивают соответствие качества аннотации требованиям.

Показатели качества​

Через показатели, такие как коэффициент прохождения (доля прохождения рецензирования с первого раза), точность (статистика точности аннотации), единообразие (единообразие между различными аннотаторами), полнота (проверка полноты аннотации), всесторонне оценивается качество аннотации.

Функции командного сотрудничества​

Назначение задач​

Поддерживает различные методы назначения, такие как интеллектуальное назначение (интеллектуальное назначение на основе возможностей аннотаторов и рабочей нагрузки), ручное назначение (ручное назначение администратором), переназначение (переназначение задач другим аннотаторам), передача задач (передача задач между различными аннотаторами), обеспечивая разумное назначение задач.

Коммуникация и сотрудничество​

Предоставляет функции сотрудничества, такие как комментарии к задачам (добавление комментариев и обратной связи в задачи), отчеты о проблемах (аннотаторы сообщают о встречающихся проблемах), решения (рецензенты предоставляют решения), обмен опытом (участники команды делятся опытом аннотации), способствуя командной коммуникации и обмену знаниями.

Экспорт и интеграция данных​

Экспорт результатов аннотации​

Поддерживает экспорт в стандартные форматы, такие как LeRobot, HDF5, пользовательские форматы экспорта на основе потребностей, массовый экспорт результатов аннотации из множественных задач, а также экспорт только новых или измененных аннотаций. Эти функции удовлетворяют потребности экспорта данных для различных сценариев.

Подготовка данных обучения​

Предоставляет функции очистки данных (автоматическая очистка и предварительная обработка данных аннотации), преобразования форматов (преобразование в форматы, необходимые для обучения моделей), проверки качества (проверка качества экспортированных данных), управления версиями (управление различными версиями данных обучения), обеспечивая, что экспортированные данные могут быть непосредственно использованы для обучения моделей.

Применимые роли​

Администратор​

Как администратор платформы, вы можете просматривать общее состояние всех задач, управлять ресурсами аннотаторов и рецензентов, мониторить общее качество аннотации и настраивать процессы и правила задач. Эти функции обеспечивают стабильную и эффективную службу управления задачами платформы.

Менеджер проекта​

Менеджеры проектов могут создавать задачи аннотации для проектов, отслеживать прогресс аннотации проекта, мониторить состояние качества аннотации и координировать работу аннотаторов и рецензентов. Через модуль управления задачами менеджеры проектов могут эффективно контролировать работу по аннотации проекта.

Аннотатор​

Аннотаторы могут получать задачи, назначенные им, выполнять конкретную работу по аннотации, обновлять прогресс завершения задач и предоставлять обратную связь о проблемах, встречающихся в процессе аннотации. Эти функции поддерживают аннотаторов в эффективном завершении задач аннотации.

Рецензент​

Рецензенты могут рецензировать задачи, завершенные аннотаторами, оценивать качество аннотации, предоставлять обратную связь аннотаторам и устанавливать и обновлять стандарты аннотации. Эта роль играет важную роль в обеспечении качества аннотации.