СИСТЕМЫ УПРАВЛЕНИЯ ПОДВИЖНЫМИ ОБЪЕКТАМИ С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИЙ МАШИННОГО ЗРЕНИЯ: ТРЕБОВАНИЯ, ПРОБЛЕМЫ, РЕШЕНИЯ

Требования к системам
необходимость функционирования системы в условиях широкой номенклатуры объектов и сцен, круглосуточности и всепогодности;
обеспечение высокой помехозащищенности бортовых информационных каналов от естественных и искусственных помех;

Требования к системам
реализация в бортовой системе управления режимов автоматического обнаружения, локализации объектов сцены и определения координат точки приведения летательного аппарата, заданной на поверхности выбранного объекта, в процессе полета с ошибками менее 1-3 м;
обеспечение возможности получения информации о нанесенном ущербе и изменения траектории в процессе полета.

Проблемы построения систем
информационное обеспечение (разнообразие источников получения исходной информации – изображений наземных сцен, их обработка и комплексирование, технологии построения 3D и 2D моделей наземных объектов и сцен, их эталонных описаний и т.д.);
анализ характерных признаков изображений неподвижных наземных объектов в различных диапазонах электромагнитного спектра, формирование их совокупности, робастной в различных условиях применения;
анализ возможностей бортовых датчиков информации, получаемых на их основе текущих изображений реальных сцен, выделения характерных признаков этих изображений;
разработка алгоритмов автоматического обнаружения, локализации объектов наблюдаемой сцены и определения в процессе полета с высокой точностью координат точки приведения, заданной на поверхности выбранного объекта, оценку вычислительной реализуемости алгоритмов в реальном масштабе времени;
выбор архитектуры и разработку структуры бортового сигнального процессора сверхвысокой производительности, реализующего разработанные алгоритмы в реальном масштабе времени.

Источники получения исходной информации:
спутниковые снимки высокого разрешения
авиационные снимки крупного масштаба
снимки, получаемые с помощью БПЛА
наземные снимки
облака лазерных точек
Информационное обеспечение
Технологии построения 3D моделей
Источники получения исходной информации:
спутниковые снимки высокого разрешения
авиационные снимки крупного масштаба
снимки, получаемые с помощью БПЛА
наземные снимки
облака лазерных точек
ракурсные 2D изображения
(получение 3D информации методами фотограмметрии)
облака лазерных точек
(получение 3D информации напрямую)

База данных

Выделение характерных признаков
ИК 3-5 мкм
ТВ
Характерные геометрические признаки (контурный эталон)

Θ − отфильтрованное изображение
Анализ сцены
Принятие решения
Характерное
описание
Эталонное
описание исходной сцены
Структурно-статистические методы
∙ непроизводные элементы
∙ логические отношения
∙ поиск локальных max
Признаки
∙ топологические
∙ яркостные
∙ текстурные
∙ геометрические
Методы
∙ пространственное дифференцирование
∙ операторы Марра, Кани и т.д.
∙ высокочастотная фильтрация
∙ “сенсорные пары”
Алгоритмы
∙ линейные временная
∙ нелинейные частотная
∙ морфологические области
Условия наблюдения
Параметры сенсоров
Искусственные
естественные помехи
Локализация
i-го объекта;
Сборка сцены
Исходная
сцена
Реальная
сцена
Наблюдаемая
сцена
Фильтрация
F
q*(F)
s*[q*(F)]
r*{s*[q*(F)]} = (Θ)
p*(Θ)
k*[p*(Θ)]

Примеры контурных эталонов (КЭ)
Текущее изображение (фрагмент)
Алгоритм обнаружения и распознавания
объектов сцены

Алгоритм обнаружения и распознавания (селекции) объектов сцены
Вариант 1. Использование информации о контурах
Поиск максимума логарифма отношения правдоподобия
Вариант 3. Использование информации:
о контурах;
об угловой ориентации ребер ЭИ и об углах перепадов интенсивности ТИ
α – весовой коэффициент «контурной» и «угловой» компонент
Максимизация суммы«контурной» составляющей логарифма функции правдоподобия и «угловой» компоненты
Вариант 2. Использование информации:
об угловой ориентации ребер ЭИ и об углах перепадов интенсивности ТИ