Обобщенная модель нейрона. Персептрон (структура, алгоритмы обучения). Решение задачи распознавания образов с помощью НС

в противном случае.
1943 – формальный нейрон (МакКаллок, Питтс):
если ;
в противном случае.
1958 – расширение модели (МакКаллок):
если ;
Здесь:
«тормозящие» входы; «возбуждающие» входы
условие возбуждения
( – порог возбуждения)

ПРОБЛЕМА ИСКЛЮЧАЮЩЕГО ИЛИ (Exclusive OR, XOR)
→ [М. Мински, С. Пейперт, 1969]
Таблица истинности функции XOR

Решение проблемы – 2-хслойная НС:
Таблица истинности:
= !
Условия возбуждения нейронов:

ОБОБЩЕННАЯ МОДЕЛЬ НЕЙРОНА

ВИДЫ ФУНКЦИИ АКТИВАЦИИ

ПЕРСЕПТРОН (структура)
1958 – однослойный персептрон (Ф. Розенблат)
→ (от англ. Perception – «восприятие»)
1958 – 1-й нейрокомпьютер «Марк-1» (Ф. Розенблат)
Структура многослойного перспетрона
2 режима работы:
обучение (настройка весов НС);
эксплуатация.
– вектор входов,
– вектор выходов,
…
…

ПЕРСЕПТРОН (процедура обучения)
– вектор эталонов, (желаемых выходов) НС;
– вектор ошибки обучения НС;
Цель обучения:
где – суммарная
квадратичная ошибка обучения (СКО) НС.
…
…

ОБУЧАЮЩАЯ ВЫБОРКА
– это набор пар – соответственно входной вектор и вектор желаемых выходов НС r-м обучающем примере; R – число обучающих примеров(объем обучающей выборки).

АЛГОРИТМЫ ОБУЧЕНИЯ ПЕРСЕПТРОНА
СКО:
где n – число выходов НС; R – объем обучающей выборки.
Градиентный алгоритм обучения:
BP = Back Propagation
QP = Quick Prop
LM = Levenberg- Marquardt
Критерий останова: а) k = Kзад; б) E = Eзад

СЛОЖНОСТИ ПРОЦЕССА ОБУЧЕНИЯ
«зависание» в локальных минимумах
метод «тяжелого» шарика:
где
регуляризация процесса обучения:
где – коэффициент «штрафа» весов НС;
эффект «переобучения» (over-learning) НС
выбор оптимальной сложности НС (количества нейронов в скрытом слое); тестирование / валидация НС.

РЕШЕНИЕ ЗАДАЧИ РАСПОЗНАВАНИЯ ОБРАЗОВ С ПОМОЩЬЮ ПЕРСЕПТРОНА
Задача классификации (распознавания образов):
требуется определить, к какому из M известных классов относится предъявляемый объект (образ), представленный вектором
Множество входных векторов (признаков)
Множество решений (классов принадлежности)

Решение:
Персептрон с 1 скрытым слоем:
Количество нейронов в скрытом слое:
*
*Васильев В.И., Ильясов Б.Г. Интеллектуальные системы управления. Теория и практика, 2009. С. 168-170.