Основы искусственных нейтронных сетей

История и перспективы развития нейронных сетей.
Области применения ИНС.
Биологический нейрон и его математическая модель.
к.т.н., доцент Савченко Е.Ю.

В истории развития нейронных сетей выделяют несколько этапов:

Основные проблемы, решаемые искусственными нейронными сетями

Ирисы Фишера - самый популярный в статистической литературе набор данных, часто используемый для иллюстрации работы различных алгоритмов классификации. При всем желании мы не смогли без него обойтись, поскольку в современных реальных приложениях редко встречаются такие компактные наборы данных, позволяющие построить хороший классификатор при минимуме исходных признаков.
Выборка состоит из 150 экземпляров ирисов трех видов, для которых измерялись четыре характеристики: длина и ширина чашелистика, длина и ширина лепестка.
Классификация образов
Задача классифика́ции — задача, в которой имеется множество объектов (ситуаций), разделённых некоторым образом на классы. Задано конечное множество объектов, для которых известно, к каким классам они относятся.

Кластеризация / категоризация
Кластеризация (или кластерный анализ) — это задача разбиения множества объектов на группы, называемые кластерами. Внутри каждой группы должны оказаться «похожие» объекты, а объекты разных группы должны быть как можно более отличны. Главное отличие кластеризации от классификации состоит в том, что перечень групп четко не задан и определяется в процессе работы алгоритма.
Применение
Маркетинг
Кластеризация широко используется при изучении рынка для обработки данных, полученных из различных опросов.
Может применяться для выделения типичных групп покупателей, разделения рынка для создания персонализированных предложений, разработки новых линий продукции.
Компьютерные науки
Подбор рекомендаций для пользователя на основе предпочтений других пользователей в данном кластере.
Медицина
Применяется для выявления шаблонов устойчивости к антибиотикам;
для кластеризации антибиотиков по типу антибактериальной активности.
Назад

Основная задача аппроксимации — построение приближенной (аппроксимирующей) функции, в целом наиболее близко проходящей около данных точек или около данной непрерывной функции.
Аппроксимация функций
Синий цвет — исходная функция
Красный цвет — аппроксимация функции

Предсказание / прогноз

Оптимизация
Многие проблемы в науке, технике, медицине и экономике могут рассматриваться как задачи оптимизации. Под задачей оптимизации понимается нахождение такого решения, которое удовлетворяет системе ограничений и обеспечивает экстремум заданной целевой функции
Под оптимизацией понимают процесс выбора наилучшего варианта из всех возможных. Большее количество задач сводятся к задачам оптимизации:
безусловная оптимизация нелинейных функций;
метод наименьших квадратов;
решение нелинейных уравнений;
линейное программирование;
квадратичное программирование;
условная минимизация нелинейных функций.

Биологический нейрон и его математическая модель.
Нейрон (нервная клетка) является особой биологической клеткой, которая обрабатывает информацию
(рис. 1.).
Рис. 1. Взаимосвязь биологических нейронов

Рис. 2. Биологический нейрон

Искусственный нейрон
Рис.3 Искусственный нейрон
Рис. 4. Нелинейная модель нейрона

Рис. 5. Нелинейная модель нейрона
??=?(??+??) (3)
?1,?2,…,??-входные сигналы;
??1,??2,…,???- синаптические веса нейрона ?;
??- линейная комбинация входных воздействий;
??- порог;
? (∙) - функция активации;
??- выходной сигнал нейрона

где ??=0, ??= ?? (4)
Рис.6 Аффинное преобразование, вызванное наличием порога.

Рис.7 Нелинейная модель нейрона

Типы функций активации
Функции активации, представленные в формулах как ?(.), определяют выходной сигнал нейрона в зависимости от индуцировано локального поля ?

Типы функций активации
Функции активации, представленные в формулах как ?(.), определяют выходной сигнал нейрона в зависимости от индуцировано локального поля ?

1