,ІІС, що засновані на штучних нейронних мережах лекція № 5-1

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.
Штучна нейронна мережа (ШНМ) - це спрощена модель біологічного мозку, точніше нервової тканини. Природна нервова клітина (нейрон) складається з тіла (соми), що містить ядро, і відростків - дендритів, за якими в нейрон надходять вхідні сигнали. Один з відростків, розгалужених на кінці, служить для передачі вихідних сигналів даного нейрона іншим нервовим клітинам. Він називається аксоном. З'єднання аксона з дендритом іншого нейрона називається синапсом.
ШНМ являє собою сукупність простих обчислювальних елементів - штучних нейронів, кожен з яких володіє певною кількістю входів (дендритів) і єдиним виходом (аксоном).
На входи нейрона надходить інформація ззовні або від інших нейронів. Кожен нейрон характеризується функцією перетворення вхідних сигналів у вихідний (функція збудження нейрона). Нейрони в мережі можуть мати одинакові або різні функції збудження.
Сигнали, що надходять на вхід нейрона, нерівнозначні в тому сенсі, що інформація з одного джерела може бути більш важливою, ніж з іншого. Пріоритети входів задаються за допомогою вектора вагових коефіцієнтів, моделюючих синаптичну силу біологічних нейронів.

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.
Основні застосування ШНМ
Розпізнавання образів і класифікація.
Прийняття рішень і управління.
Кластеризація.
Прогнозування.
Апроксимація.
Стиснення даних і асоціативна пам’ять.
Аналіз даних.
Оптимізація.
Інші.

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.
Модель штучного нейрона являє собою дискретно-безперервний перетворювач інформації. Інформація, що надходить на вхід нейрона, підсумовується з урахуванням вагових коефіцієнт wi , сигналів xi , i = 1, .., n, де n - розмірність простору вхідних сигналів. Потенціал нейрона визначається за формулою
Модель штучного нейрона

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.
Вид передавальної (активаційної) функції f є найважливішою характеристикою нейрона. У загальному випадку ця функція може бути ступеневою (пороговою), лінійною або нелінійною.
Порогова функція не забезпечує достатньої гнучкості ШНМ при навчанні. Якщо значення обчисленого потенціалу не досягає заданого порогу, то вихідний сигнал не формується, і нейрон «не спрацьовує». Це призводить до зниження інтенсивності вихідного сигналу нейрона і, як наслідок, до формування невисокого значення потенціалу зважених входів в наступному шарі нейронів.
Лінійна функція диференціюється і легко обчислюється, що в ряді випадків дозволяє зменшити помилки вихідних сигналів в мережі, так як передавальна функція мережі також є лінійною. Однак вона не універсальна і не забезпечує вирішення багатьох завдань.
Певним компромісом між лінійної і ступінчастою функціями є сигмоїдальна функція перенесення Y = 1 / (1 + е-kp ),
яка вдало моделює передавальний характеристику біологічного нейрона. Коефіцієнт k визначає крутизну нелінійної функції: чим більше k, тим ближче сигмоїдальна функція до порогової; чим менше k, тим вона ближче до лінійної.
Модель штучного нейрона

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.
Види активаційних функцій

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.
Види активаційних функцій

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.
Моделі нейронних мереж
Перцептрон
Американський нейрофізіолог Ф. Розенблат запропонував модель нейронної мережі и продемонстрував створений на її основі електронний пристрій, названий перцептроном. Він ввів можливість модифікації міжнейронних зв’язків, що зробило ШНМ навчаємою.

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.
Перцептрон
Алгоритм навчання перцептрона включає наступні кроки.
1. Системі пред'являється еталонний образ.
2. Якщо результат розпізнавання збігається з заданим, вагові коефіцієнти зв'язків не змінюються.
3. Якщо ШНМ неправильно розпізнає результат, то ваговим ко-коефіцієнтам дається приріст в сторону підвищення якості распізнавання.
Алгоритми навчання НМ діляться на:
навчання “з вчителем навчання";
навчання “без вчителя".

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.
Схема навчання НМ з вчителем
Схема навчання НМ без вчителя

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.
Рекурентні нейронні мережі
Вони містять зворотні зв'язки, завдяки котрим стає можливим отримання відмінних значень виходів при одних і тих же вхідних даних. Наявність зворотних нейронів дозволяє ШНМ накопичувати знання в процесі навчання.
Була сформульована математична модель асоціативної пам'яті на нейронної мережі (модель Хопфілда).

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.
Побудова нейронної мережі
При побудові моделі ШНМ перш за все необхідно точно визначити завдання, які будуть вирішуватися з її допомогою.
Першим етапом побудови нейромережевої моделі є ретельний відбір вхідних даних, що впливають на очікуваний результат. Слід мати достатню кількість прикладів для навчання ШНМ.
На другому етапі здійснюється перетворення вихідних даних з урахуванням характеру і типу проблеми, яка відображається нейромережевою моделлю, і вибираються способи подання інформації.
Третій етап полягає в конструюванні ШНМ, тобто в проектуванні її архітектури. Структура ШНМ формується до початку навчання, тому успішне вирішення цієї проблеми визначається досвідом аналітика.
Четвертий етап пов'язаний з навчанням мережі, яке може проводитися на основі конструктивного або деструктивного підходу.
Відповідно до першого підходу навчання ШНМ починається на мережі невеликого розміру, який поступово збільшується до досягнення необхідної точності. Деструктивний підхід базується на принципі «проріджування дерева», відповідно до якого з мережі поступово видаляють «зайві» нейрони.
На п'ятому етапі проводиться тестування отриманої моделі ІНС на незалежній вибірці прикладів.

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.
Побудова нейронної мережі
Приклад 1
Визначити умови реалізації та реалізувати на персептроні функцію «І», заданої таблицею істинності. Візьмемо персептрон у вигляді, який реалізує функцію:

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.
Побудова нейронної мережі
Приклад 1
Для реалізації функції «І» необхідно виконання наступних нерівностей,
де Ѳ – поріг функції f :
Як видно з наведених співвідношень, існує нескінченна множина значень , для яких дані нерівності виконуються, наприклад, Ѳ = 0,5 ; w1 = 0,4 ; w2 = 0,3 .
Таким чином, функція «І» може бути лінійно розділена.

Харківський національний економічний університет ім. С. Кузнеця
Кафедра інформаційних систем Корабльов М.М.
Побудова нейронної мережі
Приклад 2
Визначити умови реалізації та реалізувати на персептроні функцію «XOR – яке виключає АБО», заданої таблицею істинності. Візьмемо персептрон у вигляді, який реалізує функцію: