Синтез нейроподобных помехоустойчивых детекторов границ

Рис. 1 – Чистое (а) и зашумленное (б) изображение
Рис. 2 – Пример обработки чистого и зашумленного изображения детектором краев CANNY
Рис. 3 – Пример обработки чистого и зашумленного изображения log-фильтром
Пример обработки зашумленного изображения стандартными детекторами границ

Цели магистерской диссертации
Основная цель - Исследование методологии, возможностей и параметров реализации нейронных сетей для задач обработки видеоизображений в реальном масштабе времени для встраиваемых систем управления, реализуемых средствами программируемых логических интегральных схем (ПЛИС).
Основные решаемые задачи:
1) Исследование методологии синтеза нейроподобных помехоустойчивых детекторов границ;
2) Разработка архитектуры нейроконтроллера, использующего видеоинформацию для принятия решений, разработка способов обмена информацией для управления параметрами функционирования и получения результирующей информации;
3) Исследование аспектов аппаратной реализации с помощью ПЛИС;
4)Создание макета, реализующего функции нейроподобного помехоустойчивого детектора границ в реальном масштабе времени.

Нейроноподобный детектор границ
Вектор показаний сенсоров S подается на вход нейрона. Нейрон состоит из двух компонент: линейной L и нелинейной A. Линейная часть нейрона L выполняет скалярное умножение вектора S на вектор весов W.
Подматрицы изображения поступающие на вход нейросети

Методика «Обучения с учителем»
Рисунок иллюстрирует процесс формирования исходной системы линейных уравнений, используемой для определения вектора весов W. С помощью матрицы изображений формируется матрица показаний сенсоров S. У этой матрицы количество строк равно количеству элементов матрицы описания исходного изображения или его фрагмента Ny*Nx.
(Информация на входе нейросети)
(Что хотим получить на выходе)

Обобщение методики на набор примеров
ПРОЦЕДУРА ОБУЧЕНИЯ
W = (ST S + γ E) –1 ST F
ПРОЦЕДУРА ДООБУЧЕНИЯ( - позволяет существенно улучшить качество функционирования детектора)
Введем :
Sek = ∑ SkTSk - матрица предыдущего опыта с k примерами
Fek = ∑ SkTFk – вектор опыта с k примерами
Wk+1 = (Sek + S k+1T Sk+1 + γ E) –1 * (Fek+Sk+1T Fk+1)
W1 = (S1T S1 + γ E) –1 * S1 T F1
W2 = (S1T S1 + S 2T S2 + γ E) –1 * (S1T F1+S2T F2)
Обучение по одному примеру
Обучение по двум примерам
СЛУЧАЙ ДВУХ ПРИМЕРОВ

Оценка качества фильтрации с помощью нормы L1PP
Норма представляет собой средний уровень разницы, приведенный к количеству пиксель в изображении, что представляется естественным отобразить в обозначении этой нормы, являющейся сокращением L1 per pixel.
Норма L1 для выбора пороговых значений

Полученные весовые коэффициенты после обучения
Результаты тестирования однослойного нейрофильтра краев c использованием нейродетекторов H51 и H52 представлены на следующем слайде. H51 – обучение на прямоугольниках, H52 – дообучение H51 на кругах. Нижний детектор H52 – симметризован.
При этом использовалась активационная функция для которой были назначены пороги Tmax=255 и Tmin= 30.

Детектирование краев чистого a) и зашумленного b) изображения
однослойным нейродетектором H51 (инвертированное изображение)
а) H51 + A (255/30)
б) H51 + A (255/30)
а) H52 + A (255/30)
б) H52 + A (255/30)
Детектирование краев чистого a) и зашумленного b) изображения
однослойным нейродетектором H52 (инвертированное изображение)
Пример работы синтезированных детекторов
Детектирование краев чистого a) и зашумленного b) изображения однослойным нейродетектором H51 (инвертированное изображение)
а) H51 + A (255/50)
б) H51 + A (255/50)
Рис. 1 – Чистое (а) и зашумленное (б) изображение

Разработка архитектуры нейроконтроллера. Обобщенная структурная схема
На рисунка буквами обозначены следующие компоненты:
А – видеокамеры;
Б – плата с ПЛИС;
В – аналитическая часть на ПЛИС;
Г – решающая часть на ПЛИС;
Д – JTAG UART;
Е – сеть Ethernet;
Ж – персональный компьютер ( в
качестве вычислительного ресурса
и «учителя» нейроконтроллера).
Сжатие кадра видеопотока для передачи по Ethernet на «вычислительный ресурс»

Форматы передачи информации
Протокол ASKBus
Формат кадра
Frametype (FT) – 1 байт ( данное поле определяет назначение кадра;
Serial number (SN) – 4 байтов (данное поле содержит серийный номер узла на стадии инициализации сети и соответственно серийный номер узла с которым идет обмен);
Status (S) – 1 байт (содержит статус выполнения команды);
Neuron Type (NT) – 1байт (данное поле определяет размерность нейроподобного помехоустойчивого детектора границ, которая может быть 3х3+1 или 5х5+1);
NumberNeuron (NN) – 1 байт (данное поле определяет количество нейроподобных помехоустойчивых детекторов границ, которые будут обрабатывать входной видеопоток);
NumberLayer’s (NL) – 2 байта (данное поле определяет количество слоев в нейроподобном помехоустойчивом детекторе границ);
Data (данное поле содержит весовые коэффициенты нейроподобного помехоустойчивого детектора границ и пороговые значения. Длина поля вычисляется по предварительно полученным полям NN и NT, их перемножением);
CheckSum (CS) – 4 байта (контрольная сумма кадра. Используется для проверки правильности принятого кадра и содержит сумму предыдущих байтов).

На параллельный сумматор ADD подаются значения с умножителей, а так же свободный весовой коэффициент Wсв. Поскольку в умножителях фирмы ALTERA предел перемножения – 4 пары значений, а необходимо выполнить 25 перемножений весовых коэффициентов со значениями пикселей входного видеопотока, организуется один дополнительный умножитель для перемножения одной пары значений.
Структурная схема реализации аппаратной реализации нейрона 5х5+1

Преобразование весов для представления на аппаратном уровне
Ниже приведем пример преобразования вещественных значений весовых коэффициентов в удобный вид для их использования в аппаратной реализации.
Как видно результаты вполне идентичные. Для сокращения времени расчетов был написан скрипт в MATLAB, который производит необходимые вычисления и выводит результат в шестнадцатеричном виде.

Структура IP-Core (модуля) нейроподобного помехоустойчивого детектора границ
Top-level
Neuron-level
Сдвиговые
регистры
Умножитель-
сумматор
Параллельный
сумматор
Входной
видеопоток
Выходной
видеопоток
IP-Core описывался на Verilog, умножитель, сдвиговый регистр, сумматор -
сгенерировали при помощи MegaWizard и подключили в описываемое ядро.
Интеграция на шину Avalon
Управление пороговым значением и способом отображения (обычный или инверсный)

Демонстрация рабочего стенда
Оценка задействованных ресурсов интегральной схемы программируемой логики и быстродействия реализованного детектора границ
Оценка задействованных ресурсов