Метод создания связных сцен из художественного видео

Актуальность работы
Создание связных сцен является промежуточным этапом анализа видео, его результаты могут использоваться для:
упрощения поиска отдельных частей видео, например, вступительных заставок и титров
упрощения навигации по длительным видео
создании оглавления

Цель и задачи работы
Цель работы – разработка метода создания связных сцен из художественного видео.
Задачи работы:
анализ предметной области, выделение основных подходов к созданию связных сцен;
создание алгоритма для решения поставленной задачи;
описание специфических особенностей предложенного метода;
исследование наиболее важных аспектов разработанного программного продукта.

Предметная область
План – это набор кадров, непрерывно снятых с одной камеры без монтажных склеек
Сцена - это набор последовательно идущих планов, которые характеризуются похожим аудиовизуальным составляющим
Иерархическая структура видео

Постановка задачи
9

Разбиение видео на планы
Определять границы планов можно находя монтажные склейки, они бывают двух видов:
Склейка встык
Плавный переход
С помощью современных нейронных сетей возможно определять монтажные склейки достаточно достоверно для дальнейшего анализа. Будем использовать для этого сеть TransNet.

Первый план первая сцена
Первый план первая сцена
Второй план первая сцена
Третий план вторая сцена

Метод динамической оптимизации
4

Особенности планов
HSV гистограммы кадров как особенности: синий – цветовой тон, зелёный – насыщенность, красный - яркость

Извлечение вектора особенностей из классифицирующей нейросети
Для извлечения визуальных особенностей будем использовать свёрточные нейронные сети обученные на наборе данных ImageNet

Неявные собенности планов
Визуализация вектора особенностей извлеченного нейросетью Xception обученной на наборе изображений ImageNet

Матрица расстояний планов
Пример матрицы расстояний планов
В качестве функции расстояния будем использовать косинусное расстояние векторов
Сравнивая каждый план с каждым, используя функцию расстояния векторов D(A,B), строим матрицу расстояний D. Матрица симметрична относительно побочной диагонали т.к. D(A,B)=D(B,A).
Пример идеальной матрицы расстояний
планов
,где А и В вектора длины n

Оценка количества сцен
Идеальная матрица расстояний имеет линейно зависимые строки и столбцы, так что её ранг равен числу сцен
Для неидеальной матрицы необходимо отфильтровать шумы что возможно сделать с помощью сингулярного разложения матрицы
Среди сингулярных значений, отсортированных по убыванию, находим локтевую точку — ту, с которой уменьшение значений резко замедляется. Индекс локтевой точки — это примерное количество сцен.
График отображающий сортированные по убыванию сингулярные числа матрицы расстояний из 1000 планов.

Минимизации функции стоимости
Значения функций для матрицы равноудалённых планов при K=2, N=100. Ось Х – индекс плана, Ось У значение функции

Минимизация аддитивной функции
Найти оптимальное t возможно с помощью построения двух матриц C(n,k) и J(n,k), но мы также будем использовать матрицу E(n,n) для хранения промежуточных значений. n принимает значения от 1 до N, k от 2 до K. Инициализируем матрицы значениями
,где t – вектор границ сцен

Метод динамической оптимизации аддитивной функции
для i от 1 до K

Метрика Coverage
Зелёная полоска означает границы оригинальной сцены, красная - созданной, белая - пересечение

Метрика Overflow
Зелёная полоска означает границы оригинальной сцены, красная - созданной, белая – пересечение, фиолетовая – overflow созданной

Зависимость результата работы метода от реализации модуля извлечения особенностей
В таблице представлены усреднённые значения F-меры метрик Coverage и Overflow для результатов работы метода на наборе данных OVSD с использованием разных способов извлечения особенностей

Результаты создания связных сцен
Применим разработанное ПО к видео Big Buck Bunny и получим набор кадров, являющихся границами сцен.
Для демонстрации результатов работы выберем средний кадр из каждой сцены.

Заключение
В результате выполнения работы были решены поставленные задачи:
проведён анализ предметной области, выделены основные подходы к созданию связных сцен;
разработан алгоритм решающий поставленную задачу;
описаны специфические особенности предложенного метода;
разработано программное обеспечение для создания связных сцен;
исследованы наиболее важные аспекты разработанного программного продукта.