Нейронні мережі

Типи нейронних мереж
Одношарові з прямими зв’язками.
Багатошарові з прямими зв’язками.
Одношарові зі зворотними зв’язками (рекурентні).
Багатошаров рекурентні.

Проста нейронна мережа (одношарова)
Зв’язки входів з відповідними нейронами можуть бути задані матрицею
Графічний вигляд

Багатошарова мережа з прямими зв’язками.
Вхідні сигнали
Ваги wij
Вихідні сигнали
Вхідний псевдошар
Приховані (проміжні) шари
Вихідний шар

Рекурентні мережі
Одношарова
Багатошарова

Розрахункові співвідношення

Розрахункові співвідношення
Мережева функція j-го прихованого шару для µ-го вхідного
вектору
Реакція j-го нейронного шару
Мережева функція i-го нейрону
Реакція і-го нейрону на вихідного шару на вхідний вектор
Зміна ваги w
Зміна ваги v зв’язків прихованого шару

Різновиди нейронних мереж
Мережа Хопфілда
Мережа Коско

Різновиди нейронних мереж
Мережа Джордана
Мережа Елмана
Мережа Ворда

Метод зворотного поширення помилки
Метод зворотного поширення помилки — метод навчання багатошарового перцептрону. Це ітеративний градієнтний алгоритм, який використовується з метою мінімізації помилки роботи багатошарового перцептрону та отримання бажаного виходу. Основна ідея цього методу полягає в поширенні сигналів помилки від виходів мережі до її входів, в напрямку, зворотному прямому поширенню сигналів у звичайному режимі роботи.
Недоліки алгоритму
Незважаючи на численні успішні застосування алгоритму зворотного поширення помилки, він не є панацеєю. Найбільше неприємностей приносить невизначено довгий процес навчання.
Параліч мережі
Локальні мінімуми
Розмір кроку

Алгоритм методу

Приклад навчання

Мережі Кохонена
Нейронні мережі Кохонена — клас нейронних мереж, основним елементом яких є шар Кохонена. Шар Кохонена складається з адаптивних лінійних суматорів («лінійних формальних нейронів»). Як правило, вихідні сигнали шару Кохонена обробляються за правилом «переможець забирає все»: найбільший сигнал перетворюється в одиничний, решта звертаються в нуль.
За способами настройки вхідних ваг суматорів і по розв'язуваним завданням розрізняють багато різновидів мереж Кохонена. Найбільш відомі з них:
Мережі векторного квантування сигналів, тісно пов'язані з найпростішим базовим алгоритмом кластерного аналізу
(метод динамічних ядер або K-середніх)
Самоорганізаційні карти Кохонена (Self-Organising Maps, SOM)
Мережі векторного квантування, які вивчаються з учителем (Learning Vector Quantization)