Перейти к основному содержимому

Обзор функций

Управление качественным контролем является основным рубежом обороны платформы данных IO-AI по обеспечению качества данных, помогая пользователям точно контролировать точность и стандартизацию исходных данных через многоуровневые механизмы аудита. Платформа предоставляет гибкие стратегии качественного контроля и усовершенствованные системы оценки, значительно снижая затраты на переработку и предоставляя высококачественные основы для обучения моделей.

Основные функции​

Модуль качественного контроля предоставляет функциональность обнаружения видео для помощи командам в эффективном нахождении дефектов видео и обеспечении качества поставки.

Процесс обнаружения​

1. Интеллектуальное обнаружение​

Встроено несколько алгоритмов обнаружения, комплексное сканирование видеопотоков на наличие аномалий:

  • Плавность и целостность: Автоматическая идентификация пропусков кадров (прыжки), застреваний (статичные кадры) и заморозки экрана (мозаика/разрывы/зеленый экран).
  • Визуальная видимость: Точное обнаружение размытия (дефокус), слишком темного/слишком яркого (аномалии яркости) и т.д., влияющих на просмотр.
  • Цвет и качество изображения: Мониторинг цветового отклонения (например, общий красноватый/зеленоватый) и основанная на восприятии человеческого глаза оценка качества изображения без референса (BRISQUE), количественная оценка качества видео.

2. Интерактивное воспроизведение медиа​

Предоставление опыта верификации "что видишь, то получаешь", преобразующего абстрактные коды ошибок в интуитивные визуальные доказательства:

  • Визуализация аномальных событий: Прямое выделение периодов времени возникновения аномалий типа пропусков кадров, заморозки экрана и т.д. цветными блоками на временной шкале.
  • Точное позиционирование и верификация: Поддержка прыжка непосредственно к моменту возникновения аномалии по клику на маркер, с функцией пошагового продвижения/отступления, помогая пользователям быстро подтвердить, является ли это ошибкой алгоритма или реальным дефектом, без необходимости смотреть видео с самого начала.

3. Визуализированный анализ данных​

Преобразование сложных данных обнаружения в читаемые графики для поддержки принятия решений:

  • Многомерная панель данных: Предоставление четких графиков трендов и распределения, интуитивно показывающих колебания качества изображения и плотность дефектов.
  • Стандартизированный экспорт отчетов: Поддержка генерации и экспорта одним кликом PDF отчетов качественного контроля, включающих снимки ключевых метрик и сводки дефектов, удобно для циркуляции в командах, приемки поставок и архивирования проблем.

4. Стандартизированный контракт данных​

  • Унифицированный формат данных: Все результаты обнаружения выводятся в стандартном JSON формате, облегчая агрегацию данных между задачами системы, выборочный анализ и аудит traceability, устраняя silos данных.

Страница деталей качественного контроля​

Страница деталей качественного контроля является диагностической рабочей средой для одного видео сэмпла, интегрирующей функции воспроизведения, данных и операций, поддерживая глубокое troubleshooting проблем.

Основные функциональные области:

  • Рабочая среда воспроизведения на уровне кадров

    • Прыжок к аномалии одним кликом: Клик на маркере в нижней временной шкале, плеер немедленно прыгает к проблемному кадру.

  • Синхронизированная панель многомерных показателей

    • Сырые данные детектора: Отображение числовых значений различных показателей видео.
    • Визуализированный график трендов: Отображение общего тренда качества всего видео через линейные графики, быстрый поиск точек мутации качества.

  • Доставка результатов

    • Отчет одним кликом: Интеграция списка диагностики и графиков данных текущего видео, мгновенный экспорт как PDF отчета.

Обнаружение пропусков кадров​

  1. Принцип метода

Цель: Обнаружение превышения ожидаемого временного интервала между соседними кадрами в видеопотоке, тем самым идентификация пропусков кадров.

Метод:

  • Программа рассчитывает разницу временных меток между соседними кадрами: временная метка текущего кадра - временная метка предыдущего кадра, если эта разница намного превышает ожидаемый интервал кадров (например, стандартный временной интервал для видео 30FPS составляет 33 миллисекунды), определяется пропуск кадра или аномальный прыжок временной метки.

  • Используется двухэтапный механизм верификации для обнаружения пропусков кадров:

    1. Парсинг временных меток и обнаружение непрерывности временных меток.
    2. Если временные метки аномальны, извлечение характеристик содержимого кадра и верификация пропуска кадра через сравнение изображений.

Благодаря этому подходу можно эффективно идентифицировать прерывания видео, вызванные потерей кадров.

  1. Влияние параметров
Параметр конфигурацииВлияниеКак настроить
jitter_toleranceКонтролирует допустимый диапазон колебаний временных меток, чем больше, тем больше допустимая разница времени.Увеличьте это значение для допущения большего количества временных колебаний, избегайте ложного определения пропусков кадров.
min_drop_durationКонтролирует минимальную продолжительность для определения пропуска кадра, только когда время потери превышает это значение, считается пропуском кадра.Настройте на меньшее значение для обнаружения пропусков кадров в короткие периоды.
similarity_thresholdКонтролирует порог верификации сходства кадров, чем выше, тем больше требуется сходного содержимого кадров для считывания дублированного кадра.Настройте на более высокое значение, чтобы избежать ложного определения кадров как пропусков кадров.
ssim_threshold_stuckSSIM порог для обнаружения застреваний, чем выше, тем строже обнаружение застреваний.Настройте на более низкое значение для допущения большего количества изменений застреваний.
ssim_threshold_flowerSSIM порог для обнаружения заморозки экрана, чем ниже, тем выше чувствительность обнаружения заморозки экрана.Настройте на более низкое значение для легкого обнаружения явлений заморозки экрана.

Обнаружение заморозки экрана​

  1. Принцип метода

Цель: Оценка наличия неожиданного или серьезного изменения между соседними кадрами, тем самым определение возникновения заморозки экрана.

Метод:

  • Индекс структурного сходства (SSIM): Оценивает степень сходства двух изображений в яркости, контрасте и структуре. Чем ближе значение к 1, тем более похожи два кадра.

    • Типы обнаружения: Структурная заморозка экрана, серьезное структурное повреждение
    • Применимые сценарии: Разрывы кадров, ошибки кодирования, мозаика

  • Разница характеристик содержимого: Комплексное суждение через множественные характеристики изображений

    1. Разница цветовой гистограммы: Обнаружение изменений распределения цветов, идентификация цветового искажения
    2. Разница плотности краев: Обнаружение изменений структурных деталей, идентификация потери деталей или шума
    3. Разница HSV цветового пространства: Обнаружение аномалий оттенка, насыщенности, яркости
    4. Разница яркости и контраста: Обнаружение аномалий экспозиции (переэкспозиция/недоэкспозиция), аномалий контраста

Обнаруживаемые типы заморозки экрана:

  • structural_glitch: Структурная заморозка экрана (средняя)
  • severe_structural_corruption: Серьезное структурное повреждение (высокая)
  • color_distortion: Цветовое искажение (среднее)
  • severe_color_distortion: Серьезное цветовое искажение (высокое)
  • brightness_spike: Мутация яркости (средняя/низкая)
  • contrast_anomaly: Аномалия контраста (низкая)
  • color_space_anomaly: Аномалия цветового пространства (средняя)
  • detail_loss_or_noise: Потеря деталей/шум (низкая)

Благодаря многомерному сочетанию можно более комплексно и точно обнаруживать различные явления заморозки экрана.

  1. Влияние параметров
Параметр конфигурацииВлияниеКак настроить
ssim_threshold_stuckSSIM порог для обнаружения застреваний, чем выше, тем строже определение застреваний.Настройте на более низкое значение для более лояльного определения застреваний.
GLITCH_HISTOGRAM_THRESHOLDПорог разницы цветовой гистограммы (по умолчанию 0.3), контролирует чувствительность обнаружения цветового искажения.Настройте это значение для баланса точности обнаружения цветовых аномалий.
GLITCH_EDGE_THRESHOLDПорог разницы плотности краев (по умолчанию 0.2), контролирует чувствительность обнаружения изменений деталей.Понижайте это значение для обнаружения более тонкой потери деталей.
GLITCH_HSV_THRESHOLDПорог разницы HSV цветового пространства (по умолчанию 0.25), контролирует обнаружение цветовых аномалий.Настройте это значение для контроля диапазона обнаружения цветового искажения.
GLITCH_BRIGHTNESS_THRESHOLDПорог разницы яркости (по умолчанию 0.3), контролирует обнаружение аномалий экспозиции.Настройте это значение для контроля чувствительности мутации яркости.
GLITCH_CONTRAST_THRESHOLDПорог разницы контраста (по умолчанию 0.25), контролирует обнаружение аномалий контраста.Настройте это значение для контроля обнаружения изменений контраста.

Рекомендации по конфигурации:

  • Для высококачественных видеопотоков: Соответственно повышайте различные пороги для снижения ложных срабатываний
  • Для низкокачественных видеопотоков: Соответственно понижайте различные пороги для повышения коэффициента обнаружения
  • Рекомендуется настраивать различные параметры на основе результатов реального тестирования, находить оптимальный баланс

Обнаружение четкости​

  1. Принцип метода

Цель: Объективная оценка четкости изображения и ситуации фокусировки, обнаружение размытых кадров.

Метод:

  • Алгоритм дисперсии Лапласа:

    • Использование оператора Лапласа для свертки изображения и расчет дисперсии результата
    • Оператор Лапласа очень чувствителен к высокочастотной информации в изображении (например, края, детали)
    • Четкие изображения: Богатые детали, много высокочастотной информации, большая дисперсия Лапласа (типичное значение > 100)
    • Размытые изображения: Потеря деталей, мало высокочастотной информации, маленькая дисперсия Лапласа (типичное значение < 50)

  • Логика обнаружения:

    • Преобразование BGR изображения в изображение в градациях серого
    • Расчет дисперсии Лапласа как оценки четкости (blur_score)
    • Если blur_score < blur_threshold, определяется как размытый кадр
    • Создание BlurEvent запись аномального кадра
  1. Влияние параметров
Параметр конфигурацииВлияниеКак настроить
blur_thresholdПорог размытия (дисперсия Лапласа, по умолчанию: 50). Ниже этого значения считается размытым.Понижайте это значение для более лояльного определения размытия, повышайте для более строгого обнаружения размытия.
frame_skipИнтервал выборки кадров для улучшения скорости обработки.Увеличивайте это значение для уменьшения обрабатываемых кадров, улучшения скорости обработки, но возможно пропуск некоторых размытых кадров.

Рекомендации по конфигурации:

  • Для высококачественных видеопотоков: Соответственно повышайте blur_threshold (например, 60-80) для снижения ложных срабатываний
  • Для низкокачественных видеопотоков: Соответственно понижайте blur_threshold (например, 30-40) для повышения коэффициента обнаружения
  • Ссылка на типичные значения:
    • Очень четкие изображения: дисперсия Лапласа > 200
    • Четкие изображения: дисперсия Лапласа 100-200
    • Средняя четкость: дисперсия Лапласа 50-100
    • Размытые изображения: дисперсия Лапласа < 50

Обнаружение яркости​

  1. Принцип метода

Цель: Объективная оценка яркости изображения, обнаружение аномальных кадров, которые слишком темные (недоэкспонированные) и слишком яркие (переэкспонированные).

Метод:

  • Средняя яркость изображения в градациях серого:

    • Преобразование BGR изображения в изображение в градациях серого
    • Расчет среднего значения всех пикселей изображения в градациях серого как значения яркости (диапазон 0-255)
    • Чем больше значение, тем ярче изображение; чем меньше значение, тем темнее изображение

  • Логика обнаружения:

    • Расчет среднего значения яркости каждого кадра (mean_brightness)
    • Если mean_brightness < brightness_low, определяется как слишком темный (under_exposed)
    • Если mean_brightness > brightness_high, определяется как слишком яркий/переэкспонированный (over_exposed)
    • Создание ExposureEvent запись аномального кадра

  • Диапазон яркости:

    • Нормальная яркость: Обычно между 80-180
    • Слишком темный: < 40 (порог по умолчанию)
    • Слишком яркий/переэкспонированный: > 220 (порог по умолчанию)
  1. Влияние параметров
Параметр конфигурацииВлияниеКак настроить
brightness_lowНижний порог яркости (по умолчанию: 40.0, диапазон 0-255). Ниже этого значения считается слишком темным.Повышайте это значение для более чувствительного обнаружения темных, понижайте для допущения более темных изображений.
brightness_highВерхний порог яркости (по умолчанию: 220.0, диапазон 0-255). Выше этого значения считается слишком ярким/переэкспонированным.Понижайте это значение для более чувствительного обнаружения переэкспозиции, повышайте для допущения более ярких изображений.
frame_skipИнтервал выборки кадров для улучшения скорости обработки.Увеличивайте это значение для уменьшения обрабатываемых кадров, улучшения скорости обработки, но возможно пропуск некоторых аномальных кадров.

Рекомендации по конфигурации:

  • Для внутренних сцен: Соответственно понижайте brightness_low (например, 30), повышайте brightness_high (например, 230)
  • Для внешних сцен: Соответственно повышайте brightness_low (например, 50), понижайте brightness_high (например, 210)
  • Для ночных сцен: Значительно понижайте brightness_low (например, 20-30) для избежания ложных срабатываний
  • Для сцен с ярким освещением: Соответственно повышайте brightness_high (например, 240-250) для избежания ложных срабатываний
  • Ссылка на типичные значения яркости:
    • Нормальная внутренняя: 80-150
    • Нормальная внешняя: 120-200
    • Слишком темные сцены: < 40
    • Слишком яркие сцены: > 220

Обнаружение цветового отклонения​

  1. Принцип метода

Цель: Обнаружение наличия неожиданного глобального цветового отклонения в изображении, идентификация красноватого, зеленоватого, желтоватого, синеватого и других цветовых аномалий.

Метод:

  • Анализ цветового пространства LAB:

    • Канал L: Яркость (Luminosity), диапазон 0-255
    • Канал A: Ось зеленый-красный (Green-Red axis), положительные значения отклоняются к красному, отрицательные к зеленому
    • Канал B: Ось синий-желтый (Blue-Yellow axis), положительные значения отклоняются к желтому, отрицательные к синему

  • Алгоритм обнаружения:

    1. Преобразование цветового пространства: Преобразование BGR изображения в цветовое пространство LAB
    2. Фильтрация пикселей: Фильтрация слишком темных/слишком ярких пикселей (канал L между 15-240), исключение областей шума и переэкспозиции
    3. Расчет среднего смещения:
      • Среднее смещение канала A: da = mean(A_valid) - 128
      • Среднее смещение канала B: db = mean(B_valid) - 128
      • Общее расстояние смещения: D = sqrt(da² + db²)
    4. Расчет стандартного отклонения:
      • Стандартное отклонение канала A: Ma = std(A_valid)
      • Стандартное отклонение канала B: Mb = std(B_valid)
      • Общее стандартное отклонение: M = sqrt(Ma² + Mb²)
    5. Расчет интенсивности цветового отклонения: cast = D / M (отношение среднего смещения к стандартному отклонению)
      • Чем больше значение, тем серьезнее цветовое отклонение
      • Чем меньше значение, тем нормальнее цвет
    6. Определение направления цветового отклонения:
      • Красноватый: da > 0 (положительное смещение канала A)
      • Зеленоватый: da < 0 (отрицательное смещение канала A)
      • Желтоватый: db > 0 (положительное смещение канала B)
      • Синеватый: db < 0 (отрицательное смещение канала B)

  • Логика обнаружения:

    • Если cast > color_cast_threshold, определяется как кадр с цветовым отклонением
    • Создание ColorCastEvent запись аномального кадра
    • Статистика направления цветового отклонения и частоты
  1. Влияние параметров
Параметр конфигурацииВлияниеКак настроить
color_cast_thresholdПорог интенсивности цветового отклонения (по умолчанию: 1.0). Выше этого значения считается цветовым отклонением.Понижайте это значение для более чувствительного обнаружения цветового отклонения, повышайте для снижения ложных срабатываний.
frame_skipИнтервал выборки кадров для улучшения скорости обработки.Увеличивайте это значение для уменьшения обрабатываемых кадров, улучшения скорости обработки, но возможно пропуск некоторых кадров с цветовым отклонением.

Рекомендации по конфигурации:

  • Для высококачественных видеопотоков: Соответственно повышайте color_cast_threshold (например, 1.5-2.0) для снижения ложных срабатываний
  • Для низкокачественных видеопотоков: Соответственно понижайте color_cast_threshold (например, 0.7-0.8) для повышения коэффициента обнаружения
  • Ссылка на типичные значения интенсивности цветового отклонения:
    • Нормальные изображения: cast < 1.0
    • Легкое цветовое отклонение: cast 1.0-2.0
    • Явное цветовое отклонение: cast 2.0-5.0
    • Серьезное цветовое отклонение: cast > 5.0

Примечания:

  • Алгоритм автоматически фильтрует слишком темные (L < 15) и слишком яркие (L > 240) пиксели для избежания помех шума
  • Если допустимых пикселей слишком мало (< 100 или < 10% от общего количества пикселей), обнаружение пропускается и возвращаются нормальные значения
  • Обнаружение цветового отклонения применимо к глобальному цветовому отклонению, не подходит для локальных цветовых изменений (например, цвета конкретных объектов)

Оценка качества изображения (IQA - Image Quality Assessment)​

Оценка качества изображения без референса​

  1. Принцип метода

Цель: Использование метода оценки качества изображения без референса (No-Reference IQA) для симуляции восприятия качества видео человеческим глазом, оценка качества изображений после обработки сжатия, шумоподавления, искажения.

Метод:

  • Алгоритм BRISQUE (Blind/Referenceless Image Spatial Quality Evaluator):

    • Анализирует отклонения статистических характеристик естественных сцен в изображении
    • Оценивает качество изображения без референсного изображения
    • Может обнаруживать артефакты сжатия, размытие, шум, искажения и другие проблемы качества

  • Система оценки:

    • Оценка LIG (Lower Is Good): Оригинальный вывод алгоритма BRISQUE, чем ниже оценка, тем лучше качество
    • Оценка HIG (Higher Is Good): Преобразованная оценка, диапазон 0-100, чем выше оценка, тем лучше качество
    • Формула преобразования: HIG = 100 * (1 - LIG / BRISQUE_MAX_SCORE)
      • Когда LIG = 0, HIG = 100 (наивысшее качество)
      • Когда LIG = BRISQUE_MAX_SCORE, HIG = 0 (низшее качество)

  • Логика обнаружения:

    1. Ввод изображения в оценщик BRISQUE
    2. Расчет оценки LIG BRISQUE
    3. Преобразование в оценку HIG (0-100)
    4. Если HIG < normalized_threshold, определяется как низкокачественный кадр
    5. Запись средней оценки HIG BRISQUE

  • Применимые сценарии:

    • Оценка качества изображений после сжатия (JPEG, H.264 и др.)
    • Обнаружение потери качества после обработки шумоподавления
    • Оценка искажения во время передачи
    • Более комплексное отражение дефектов изображения по сравнению с дисперсией Лапласа
  1. Влияние параметров
Параметр конфигурацииВлияниеКак настроить
normalized_thresholdПорог оценки HIG (по умолчанию: 50, диапазон 0-100). Ниже этого значения считается низкокачественным изображением.Понижайте это значение для более строгого определения низкого качества, повышайте для допущения большей потери качества.
frame_skip_iqaИнтервал выборки кадров (по умолчанию: 30). Расчет BRISQUE занимает время, используется больший интервал выборки.Увеличивайте это значение для уменьшения обрабатываемых кадров, улучшения скорости обработки, но возможно пропуск некоторых низкокачественных кадров.

Рекомендации по конфигурации:

  • Для высококачественных видеопотоков: Соответственно повышайте normalized_threshold (например, 60-70) для снижения ложных срабатываний
  • Для низкокачественных видеопотоков: Соответственно понижайте normalized_threshold (например, 40-45) для повышения коэффициента обнаружения
  • Ссылка на типичные значения оценки HIG:
    • Высококачественные изображения: HIG > 70
    • Среднокачественные изображения: HIG 50-70
    • Низкокачественные изображения: HIG 30-50
    • Очень низкокачественные изображения: HIG < 30

Примечания:

  • Расчет алгоритма BRISQUE занимает время, рекомендуется использовать больший frame_skip_iqa (например, 30-60)
  • BRISQUE оценивает общее воспринимаемое качество, не предназначен для конкретных типов дефектов (например, размытие, цветовое отклонение и т.д.)
  • Дополняет обнаружение четкости (дисперсия Лапласа) и обнаружение цветового отклонения, предоставляя более комплексную оценку качества