Основные понятия теории ИНС. Лекция № 8

Введение
Историческая справка. Основные этапы развития теории искусственных нейронных сетей.
Функциональные особенности ИНС.
Определение искусственных нейронных сетей и их классификация.
Биологический нейрон и его техническая структура, способы представления НС.
Вопросы:
Лекции раздела
3

4
Содержание
Введение
Исследования по искусственным нейронным сетям (далее – НС) связаны с тем, что способ обработки информации человеческим мозгом в корне отличается от методов, применяемых обычными цифровыми компьютерами. Мозг представляет собой чрезвычайно сложный, нелинейный, параллельный компьютер (систему обработки информации). Более точно, мозг последовательно выполняет ряд задач распознавания (например, распознавание знакомого лица в незнакомом окружении). На это у него уходит около 100-200 миллисекунд, в то время как выполнение аналогичных задач даже меньшей сложности на компьютере может занять несколько дней.

Содержание
5
Распределение (в значительной степени гипотетическое) задач между полушариями мозга

Содержание
5
Виды нейронов в разных областях мозга

Содержание
6
Искусственная сеть со структурой, соответствующей трехмерной карте мозга, оказалась бы непригодной для практического использования.

Содержание
7
Структура практически используемой нейронной сети (сильно упрощена по отношению к биологическому оригиналу)

Содержание
8
Особенности
Вычислительным элементом мозга является нервная клетка - нейрон.
Нейрон имеет сложный электрохимический процесс функционирования.
Человеческий мозг содержит свыше 1011 вычислительных элементов и около 1014-1015 связей между ними. Большое количество связей в целом, объясняется большим количеством взаимосвязей связей отдельного элемента, около 103-104 связей. Мозг обладает, формировавшейся на протяжении многих десятков тысяч лет, сложной структурой, с множеством отделов, отвечающих за конкретные функции.

Содержание
9
Таблица 1-Сравнительные оценки традиционных ЭВМ и нейрокомпьютеров

Содержание
10
1. Историческая справка. Основные этапы развития теории искусственных нейронных сетей
Основополагающие работы по теории нейронных сетей появились на рубеже XIX и XX столетий. Среди них - труды Г.Гельмгольца и И.Павлова, рассматривающие общую теорию обучения, анализа зрительных процессов мозга и условно-рефлекторной деятельности.
Г.Гельмгольц
И.П. Павлов

Содержание
11
Этапы развития теории искусственных нейронных сетей
Современный этап развития теории ИНС начался после публикации в 1943 г. работы У.С. Мак-Каллока и У. Питтса, посвященной логическому анализу нервной деятельности. В этой работе впервые представлена формализованная модель искусственного нейрона и разработана теория ИНС как конечных автоматов, способных реализовывать «психологические функции».
У.С. Мак-Каллок

Содержание
12
Первым результативным методом построения ИНС считается алгоритм Д.О. Хебба, в основу которого положен механизм корреляции активности афферентного (входного) синапса (соединения) и эфферентного (выходного) нейрона.
Этапы развития теории искусственных нейронных сетей
Теории Хэбба, Мак-Каллока - Питтса и накопленные со временем экспериментальные знания в области психологии и физиологии стали основой для модели мозга, предложенной Ф. Розенблаттом и названной им персептроном (от лат. perceptio - восприятие).

Содержание
13
В 60-е годы разрабатывается множество моделей, методов и алгоритмов в области нейронных сетей - дисциплина быстро развивается. Одна из разработок того времени - обучающаяся матрица Штейнбуха, система распознавания образов, основанная на применении линейной дискриминантной функции.
Этапы развития теории искусственных нейронных сетей
Тогда же Б. Уайдроу разрабатывает первое широко известное правило обучения (Madaline Rule 1) искусственных нейронных сетей, содержащих большое число линейных адаптивных элементов.

Содержание
14
Группой ученых Стэнфордского университета проводились исследования в области адаптивных систем на основе ИНС. Разрабатывались технические приложения, включающие распознавание образов и речи, прогнозирование погоды и адаптивное управление. В 1969 г. М. Минский и С. Пейперт в опубликованной ими книге положили начало строгому математическому анализу перцептронных схем. Утверждалось, что однослойные нейронные сети имеют ограниченные репрезентативные возможности и обучение многослойных ИНС непродуктивно. Авторитет ученых был настолько велик, что публикация их работы остановила процесс изучения проблемы более чем на 10 лет.
Этапы развития теории искусственных нейронных сетей

Содержание
15
Возрождение интереса к ИНС в большей мере связано с публикацией в 1982 г. работы Дж. Хопфилда, в которой исследовалась динамическая структура, предназначенная для решения оптимизационных задач. Для сетей Хопфилда были разработаны методы обучения, основанные на правиле Хэбба.
Этапы развития теории искусственных нейронных сетей
Дж. Хопфилд

Содержание
16
Значительный успех в области нейронных сетей прямого действия принесла публикация в 1986 г. работы Д. Румельхарта, Дж. Хинтона и Р. Уильямса, в которой был предложен алгоритм обучения многослойных сетей персептронного типа, получивший название «метод обратного распространения ошибки». Необходимо отметить, что метод был разработан и исследован еще в 1974 г. в докторской диссертации П. Вербоса, к сожалению, эта работа осталась незамеченной специалистами в области нейронных сетей.
Этапы развития теории искусственных нейронных сетей

Содержание
17
В развитие теории многослойных нейронных сетей значительный вклад внес российский ученый А.Н. Горбань - автор «принципа двойственности», позволяющего организовать экономные вычисления векторов градиента сложных функций (функционалов). Решение этой задачи является основным этапом в процедуре обучения многослойных ИНС.
Важный класс ИНС разработан финским ученым Тейво Кохоненом в 1982 г.
Этапы развития теории искусственных нейронных сетей

Содержание
18
Самоорганизующиеся карты Кохонена являются мощным нейросетевым средством анализа и визуализации многомерных данных.
Карты используются для отображения нелинейных статистических взаимосвязей на легко интерпретируемые (обычно двумерные) решетки, подчеркивающие топологические и метрические зависимости анализируемых данных.
Этапы развития теории искусственных нейронных сетей

Содержание
19
Другие значительные разработки последних десятилетий - это созданная Б. Коско адаптивная двунаправленная ассоциативная память, базирующаяся на применении некоторых идей Хопфилда и Гроссберга; вероятностные модели ИНС Дж. Хинтона и Р. Сежновского, на основе которых Д. Акли разработал структуру, известную под названием «машины Больцмана». В этой нейросетевой архитектуре процесс обучения и принятия решений основан на моделировании процесса отжига металла, подчиняющегося больцмановской статистике. Проблемам теории и практики ИНС посвящено большое количество периодических научных журналов, в частности, «Neural Networks» и «IEEE Transactions on Neural Networks». В России с 1992 г. издается журнал «Нейрокомпьютер».
Этапы развития теории искусственных нейронных сетей

Содержание
20

Содержание
21
• массовый параллелизм;
• распределенное представление информации и вычисления;
• способность к обучению и способность к обобщению;
• адаптивность;
• свойство контекстуальной обработки информации;
• толерантность к ошибкам;
• низкое энергопотребление.
Удивительное число свойств, присущих мозгу.
К ним относятся:
2. Функциональные особенности ИНС

Содержание
22
ИНС проявляют следующие свойства, необходимые для решения широкого круга технических задач:
- Обучение
- Обобщение
- Абстрагирование
- Аппроксимация функции / моделирование
- Идентификация / прогнозирование
- Управление
- Классификация образов
- Кластеризация / категоризация
- Оптимизация
- Память, адресуемая по содержанию

Содержание
23
Задачи, решаемые нейронными сетями
Ниже перечисляются некоторые проблемы, решаемые с помощью ИНС и представляющие интерес для ученых и инженеров.
Классификация/распознавание образов. Задача состоит в указании принадлежности входного образа (например, речевого сигнала или рукописного символа), представленного вектором признаков, одному или нескольким предварительно определенным классам.
Кластеризация/категоризация. При решении задачи кластеризации, которая известна также как классификация образов "без учителя" отсутствует обучающая выборка с метками классов. Алгоритм кластеризации основан на подобии образов и размещает близкие образы в один кластер. Известны случаи применения кластеризации для извлечения знаний, сжатия данных и исследования свойств данных.

Содержание
24
Задачи, решаемые нейронными сетями
Аппроксимация функций. Предположим, что имеется обучающая выборка (пары данных вход-выход), которая генерируется неизвестной функцией (x), искаженной шумом. Задача аппроксимации состоит в нахождении оценки неизвестной функции (x). Аппроксимация функций необходима при решении многочисленных инженерных и научных задач моделирования.
Оптимизация. Многочисленные проблемы в математике, статистике, технике, науке, медицине и экономике могут рассматриваться как проблемы оптимизации. Задачей алгоритма оптимизации является нахождение такого решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию. Задача коммивояжера, относящаяся к классу NP- полных, является классическим примером задачи оптимизации.

Содержание
25
Задачи, решаемые нейронными сетями
Предсказание/прогноз. Пусть заданы n дискретных отсчетов в последовательные моменты времени t, Задача состоит в предсказании значения y(t) в некоторый будущий момент времени t > n + 1.
Предсказание/прогноз имеют значительное влияние на принятие решений в бизнесе, науке и технике. Предсказание цен на фондовой бирже и прогноз погоды являются типичными приложениями техники предсказания/прогноза. Предсказание является также основной задачей, решаемой самообучаемыми мобильными автономными системами в условиях адаптации к незнакомой окружающей среде.

Содержание
26
Ассоциативная память. Содержимое ассоциативной памяти или памяти, адресуемой по содержанию, может быть вызвано по частичному входу или искаженному содержанию. Ассоциативная память полезна при создании мультимедийных информационных баз данных. А также, она является основой системы управления обучаемых мобильных роботов.
Управление. Рассмотрим динамическую систему, заданную совокупностью {u(t), y(t)}, где u(t) является входным управляющим воздействием, а y(t) – выходом системы в момент времени t. В системах управления с эталонной моделью целью управления является расчет такого входного воздействия u(t), при котором система следует по желаемой траектории, диктуемой эталонной моделью. Примером является оптимальное управление двигателем.
Задачи, решаемые нейронными сетями

Содержание
27
3. Определение искусственных нейронных сетей и их классификация

Содержание
28

Содержание
29
Классификация ИНС

Содержание
30
Строение нейрона

Содержание
31
Блочная диаграмма для нервной системы
Биологический нейрон
4. Биологический нейрон и его техническая структура

Содержание
32
Структурная схема искусственного нейрона

Содержание
33
Назначение элементов
Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи (вес синапса).
Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов.
Нелинейный преобразователь реализует нелинейную функцию одного аргумента- выхода сумматора.
Эта функция называется функцией активации или передаточной функцией нейрона.

Содержание
34
Сумматор (adder) складывает входные сигналы, взвешенные относительно соответствующих синапсов нейрона. Эту операцию можно описать как линейную комбинацию:
Работа сумматора

Содержание
35
(1.1)
где x1, х2,..., хm - входные сигналы;
wki, wk2,..., wkm - синаптические веса нейрона к;
uk - линейная комбинация входных воздействий (linear combiner output);
bk - порог;
f - функция активации (activation function);
yk - выходной сигнал нейрона.
В математическом представлении функционирование нейрона k можно описать следующей парой уравнений:
(1.2)
Функционирование нейрона

Содержание
36
Афинное преобразование, вызванное наличием порога
(1.3)
Пороговый вход

Содержание
37
Принимая во внимание выражение (1.3), формулы (1.1,1.2) можно преобразовать к следующему виду: (1.4)
В выражении (1.4) добавился новый синапс. Его входной сигнал равен:
(1.5)
(1.6)
(1.7)
Преобразование к модели искусственного нейрона

Содержание
38
Модель искусственного нейрона
Это позволило трансформировать модель нейрона к виду, показанному на рисунке
Модель искусственного нейрона

Содержание
39
Активационные функции нейронов

Стохастическая модель нейрона
Вероятность P(v)описывается сигмоидальной функцией
следующего вида:

4.1 Представление нейронных сетей с помощью направленных графов
Основные правила построения графов передачи сигналов

Граф передачи сигнала для одного нейрона

Архитектурный граф нейрона
1. Блочная диаграмма, описывающая функции нейронной сети.
2. Граф прохождения сигнала, обеспечивающий полное описание передачи сигнала по нейронной сети.
3. Архитектурный граф, описывающий структуру нейронной сети.