Метод создания связных сцен из художественного видео

Цель и задачи работы
Цель работы – разработка метода создания связных сцен из художественного видео.
Задачи работы:
анализ предметной области, выделение основных подходов к созданию связных сцен;
создание алгоритма для решения поставленной задачи;
описание специфических особенностей предложенных методов;
исследование наиболее важных аспектов разработанного программного продукта.

Предметная область
План набор кадров, непрерывно снятых с одной камеры без монтажных склеек
Сцена набор последовательно идущих планов, которые характеризуются похожим аудиовизуальным составляющим
Иерархическая структура видео

Постановка задачи
9

Разбиение видео на планы
Монтажные склейки бывают двух видов
Склейка встык
Плавный переход
Границы планов можно

Первый план первая сцена
Первый план первая сцена
Второй план первая сцена
Третий план вторая сцена

Методы динамической оптимизации
4

Особенности планов
RGB гистограмма

Неявные особенности
Извлечение вектора особенностей из классифицирующей свёрточной нейронной сети

Матрица расстояний планов
Пример матрицы расстояний планов с выделенными на ней связными сценами

Метод динамической оптимизации аддитивной функции

Метод динамической оптимизации аддитивной функции

Оценка результатов работы
Coverage (“Покрытие”)
Overflow(“Переполнение”)

Зависимость работы метода от извлеченных особенностей
Значение F-меры Coverage+Overflow для набора данных OVSD

Результаты создания связных сцен

Заключение
В результате выполнения работы были решены поставленные задачи:
проведён анализ предметной области, выделены основные подходы к созданию связных сцен;
разработан алгоритм решающий поставленную задачу;
описаны специфические особенности предложенного метода;
разработано программное обеспечение для создания связных сцен;
исследованы наиболее важные аспекты разработанного программного продукта.