История развития искусственных нейронных сетей

Цель работы
При создании работы, основной целью являлось изучение искусственных нейронных сетей, а именно история их развития.

Задачи исследования
Выяснить что такое искусственная нейронная сеть.
Изучить виды классификаций нейронных сетей.
Изучить историю развития искусственных нейронных сетей.

Что такое искусственная нейронная сеть?
Понятие «искусственные нейронные сети» оформилось в 1940-е годы благодаря основополагающей работе У. Мак-Каллока и Ч. Питтса, в которой представили модель мозга как множества нейронов, имеющих одинаковую структуру.

Что такое искусственная нейронная сеть?
Каждый нейрон реализует некоторую функцию над входными значениями. Если значение функции превышает определенную величину – порог, то нейрон возбуждается и формирует выходной сигнал для передачи его другим нейронам. Такой принцип действия является основой любой нейронной сети.

Что такое искусственная нейронная сеть?
В работе У. Мак-Каллока и Ч. Питтса было показано, что сети, состоящие из искусственных нейронов, способны, в принципе, вычислить любую арифметическую или логическую функцию. Авторы предложили использовать искусственные нейронные сети, элементами которых являются искусственные нейроны, выполненные на бинарных пороговых преобразователях и функционирующие по принципу «все или ничего». Такие сети оказалась способны обучаться распознаванию образов и обобщению информации, т. е. обладали качествами, присущими живому мозгу

Классификация искусственных нейронных сетей
С точки зрения топологии можно выделить три основных типа нейронных сетей: полносвязные (рис. а), многослойные или слоистые (рис б), а также слабо связанные (с локальными связями) (рис. в).

Классификация искусственных нейронных сетей
В полносвязных нейронных сетях каждый нейрон передает свой выходной сигнал остальным нейронам, в том числе и самому себе. Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.

Классификация искусственных нейронных сетей
В многослойных нейронных сетях нейроны объединяются в слои. Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в слое может быть любым и не зависит от количества нейронов в других слоях. В общем случае сеть состоит из слоев, пронумерованных слева направо. Внешние входные сигналы подаются на входы нейронов входного слоя, а выходами сети являются выходные

Классификация искусственных нейронных сетей
В свою очередь, среди многослойных нейронных сетей выделяют следующие типы.
Монотонные
Сети без обратных связей (в таких сетях нейроны входного слоя получают сигналы, преобразуют их и передают нейронам первого скрытого слоя, и так далее вплоть до выходного)
Сети с обратными связями (в сетях с обратными связями информация с последующих слоев передается на предыдущие)

История развития искусственной нейронной сети
В 1954 году в Массачусетском технологическом институте с использованием компьютеров Фарли и Кларк разработали имитацию сети Хебба (Теория Хебба считается типичным случаем самообучения, при котором испытуемая система спонтанно обучается выполнять поставленную задачу без вмешательства со стороны экспериментатора). Также исследования нейронных сетей с помощью компьютерного моделирования были проведены Рочестером, Холландом, Хебитом и Дудой в 1956 году.

История развития искусственной нейронной сети
В 1957 году американский ученый в области нейрофизиологии Фрэнк Розенблатт разработал перцептрон — модель восприятия информации мозгом на основе обучающейся нейронной сети. Спустя два года он создал действующую машину «Марк-1», первый нейрокомпьютер. Он был способен распознавать некоторые из букв, написанных на карточках, которые подносили к его глазам-камерам.

История развития искусственной нейронной сети
Интерес к исследованию нейронных сетей угас после публикации работы по машинному обучению Минского и Пейперта в 1969 году. Ими были обнаружены основные вычислительные проблемы, возникающие при компьютерной реализации искусственных нейронных сетей. Первая проблема состояла в том, что однослойные нейронные сети не могли совершать "сложение по модулю 2", то есть реализовать функцию "Исключающее ИЛИ". Второй важной проблемой было то, что компьютеры не обладали достаточной вычислительной мощностью, чтобы эффективно обрабатывать огромный объем вычислений, необходимый для больших нейронных сетей.

История развития искусственной нейронной сети
В 1975 году Фукушимой был разработан когнитрон, который стал одной из первых многослойных нейронных сетей. Фактическая структура сети и методы, используемые в когнитроне для настройки относительных весов связей, варьировались от одной стратегии к другой. Каждая из стратегий имела свои преимущества и недостатки.

История развития искусственной нейронной сети
Когнитрон Фукушимы мог распространять информацию только в одном направлении или перебрасывать информацию из одного конца в другой, пока не активировались все узлы и сеть не приходила в конечное состояние. Достичь двусторонней передачи информации между нейронами удалось лишь в сети Хопфилда (1982 год), и специализация этих узлов для конкретных целей была введена в первых гибридных сетях.

История развития искусственной нейронной сети
Алгоритм параллельной распределенной обработки данных в середине 1980 годов стал популярен под названием коннекционизма. В 1986 году в работе Руммельхарта и Мак-Клелланда коннекционизм был использован для компьютерного моделирования нейронных процессов.

История развития искусственной нейронной сети
В 2007 году Д.Хинтоном были созданы алгоритмы глубокого обучения многослойных нейронных сетей. Процесс обучения по этим алгоритмам очень медленный. Необходимо использовать много примеров различных распознаваемых образов. После обучения получается готовое быстро работающее приложение, способное решить конкретную задачу.

Список используемых источников
Галушкин А.И. Нейронные сети - история развития теории. - Москва: Издательское предприятие редакции журнала "Радиотехника", 2001. - 840 с.
Галушкин А. И. Нейронные сети: основы теории. - 12082 изд. - Москва: Горячая линия - Телеком, 2012. - 496 с.
Круглов В.В., Борисов В. В. Искусственные нейронные сети. Теория и практика.. - 2-e изд. - Москва: Горячая линия - Телеком, 2002. - 382 с.
Нейронная сеть // Википедия URL: https://ru.wikipedia.org/wiki/Нейронная_сеть (дата обращения: 05.06.2021).
М. В. Бураков Нейронные сети и нейроконтроллеры . - СПБ.: ГУАП, 2013. - 284 с.
История возникновения нейронных сетей // Интерфейс URL: http://www.interface.ru/home.asp?artId=37476 (дата обращения: 05.06.2021).