Задачи аннотации

Обзор функций

Управление задачами аннотации является основным модулем рабочего процесса платформы IO, предоставляя полную функциональность управления жизненным циклом задач. Через группировку по статусам, отслеживание прогресса, контроль качества и командное сотрудничество, это обеспечивает эффективное и упорядоченное проведение работы по аннотации.

---

Основные функции

Управление статусами задач

Группировка по статусам

Система разделяет задачи на пять основных статусов: ожидание начала (задачи, созданные, но еще не начатые), в работе (задачи, которые в настоящее время аннотируются), ожидание проверки (задачи аннотации, завершенные и ожидающие рецензирования), проверка пройдена (задачи аннотации, прошедшие рецензирование), данные отправлены (данные, отправленные для обучения). Эта группировка по статусам позволяет вам четко понимать текущий статус каждой задачи.

Поток статусов

Задачи проходят следующий поток статусов в своем жизненном цикле: после создания задачи входят в статус ожидания начала, после начала аннотации изменяются на в работе, после завершения аннотации входят в ожидание проверки, после прохождения рецензирования изменяются на проверка пройдена, если рецензирование не пройдено, возвращаются в работу для повторной аннотации, в конечном итоге после отправки данных изменяются на данные отправлены. Этот процесс обеспечивает упорядоченное проведение работы по аннотации.

Создание и назначение задач

Создание задач

При создании задач необходимо выбрать данные для аннотации на странице данных, установить название задачи, описание, приоритет, указать аннотаторов и рецензентов, выбрать проект, к которому принадлежит задача, и установить время завершения задачи. Эти конфигурации обеспечивают выполнение задач в соответствии с ожиданиями.

Массовые операции

Система поддерживает массовое создание множественных задач аннотации, массовое назначение задач аннотаторам, массовое изменение атрибутов задач, а также массовое удаление ненужных задач. Эти массовые операции значительно повышают эффективность управления задачами, особенно при обработке большого количества задач.

Отслеживание и мониторинг прогресса

Прогресс в реальном времени

Система отображает процент завершения задач, предполагаемое оставшееся время завершения, статистику качества аннотации и анализ трендов эффективности аннотации в реальном времени. Эта информация помогает вам своевременно понимать прогресс задач и вносить соответствующие корректировки.

Отчеты о прогрессе

Предоставляет различные отчеты, такие как личный прогресс (личный рабочий прогресс аннотатора), командный прогресс (общий командный рабочий прогресс), прогресс проекта (статистика прогресса на уровне проекта), отчеты о качестве (отчеты анализа качества аннотации), удовлетворяя потребности управления на различных уровнях.

Система контроля качества

Механизмы рецензирования

Система предоставляет множественные механизмы рецензирования: автоматическая проверка качества на основе правил, ручная проверка качества рецензентами, выборочная проверка качества, полное рецензирование всех аннотаций. Эти механизмы обеспечивают соответствие качества аннотации требованиям.

Показатели качества

Через показатели, такие как коэффициент прохождения (доля прохождения рецензирования с первого раза), точность (статистика точности аннотации), единообразие (единообразие между различными аннотаторами), полнота (проверка полноты аннотации), всесторонне оценивается качество аннотации.

Функции командного сотрудничества

Назначение задач

Поддерживает различные методы назначения, такие как интеллектуальное назначение (интеллектуальное назначение на основе возможностей аннотаторов и рабочей нагрузки), ручное назначение (ручное назначение администратором), переназначение (переназначение задач другим аннотаторам), передача задач (передача задач между различными аннотаторами), обеспечивая разумное назначение задач.

Коммуникация и сотрудничество

Предоставляет функции сотрудничества, такие как комментарии к задачам (добавление комментариев и обратной связи в задачи), отчеты о проблемах (аннотаторы сообщают о встречающихся проблемах), решения (рецензенты предоставляют решения), обмен опытом (участники команды делятся опытом аннотации), способствуя командной коммуникации и обмену знаниями.

Экспорт и интеграция данных

Экспорт результатов аннотации

Поддерживает экспорт в стандартные форматы, такие как LeRobot, HDF5, пользовательские форматы экспорта на основе потребностей, массовый экспорт результатов аннотации из множественных задач, а также экспорт только новых или измененных аннотаций. Эти функции удовлетворяют потребности экспорта данных для различных сценариев.

Подготовка данных обучения

Предоставляет функции очистки данных (автоматическая очистка и предварительная обработка данных аннотации), преобразования форматов (преобразование в форматы, необходимые для обучения моделей), проверки качества (проверка качества экспортированных данных), управления версиями (управление различными версиями данных обучения), обеспечивая, что экспортированные данные могут быть непосредственно использованы для обучения моделей.

Применимые роли

Администратор

Как администратор платформы, вы можете просматривать общее состояние всех задач, управлять ресурсами аннотаторов и рецензентов, мониторить общее качество аннотации и настраивать процессы и правила задач. Эти функции обеспечивают стабильную и эффективную службу управления задачами платформы.

Менеджер проекта

Менеджеры проектов могут создавать задачи аннотации для проектов, отслеживать прогресс аннотации проекта, мониторить состояние качества аннотации и координировать работу аннотаторов и рецензентов. Через модуль управления задачами менеджеры проектов могут эффективно контролировать работу по аннотации проекта.

Аннотатор

Аннотаторы могут получать задачи, назначенные им, выполнять конкретную работу по аннотации, обновлять прогресс завершения задач и предоставлять обратную связь о проблемах, встречающихся в процессе аннотации. Эти функции поддерживают аннотаторов в эффективном завершении задач аннотации.

Рецензент

Рецензенты могут рецензировать задачи, завершенные аннотаторами, оценивать качество аннотации, предоставлять обратную связь аннотаторам и устанавливать и обновлять стандарты аннотации. Эта роль играет важную роль в обеспечении качества аннотации.