Слайд 2Рассмотрим процесс обучения нейронной сети с использованием алгоритма обратного распространения ошибки (backpropagation).
Для
![Рассмотрим процесс обучения нейронной сети с использованием алгоритма обратного распространения ошибки (backpropagation).](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/1101771/slide-1.jpg)
иллюстрации этого процесса используем нейронную сеть состоящую из трёх слоёв и имеющую два входа и один выход:
Слайд 3Каждый нейрон состоит из двух элементов.
Первый элемент – дендриты — добавляют весовые
![Каждый нейрон состоит из двух элементов. Первый элемент – дендриты — добавляют](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/1101771/slide-2.jpg)
коэффициенты ко входным сигналам.
Второй элемент – тело — реализует нелинейную функцию, т.н. функцию активации нейрона.
Сигнал е – это взвешенная сумма входных сигналов
у = f (е) - выходной сигнал нейрона.
Слайд 4Чтобы обучить нейронную сеть мы должны подготовить обучающие данные(примеры).
В нашем случае, тренировочные
![Чтобы обучить нейронную сеть мы должны подготовить обучающие данные(примеры). В нашем случае,](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/1101771/slide-3.jpg)
данные состоят из входных сигналов (х1 и х2) и желаемого результата z.
Слайд 6Распространение сигнала через скрытый слой.
Символы Wmn представляют весовые множители связей между выходом нейрона m и входом
![Распространение сигнала через скрытый слой. Символы Wmn представляют весовые множители связей между](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/1101771/slide-5.jpg)
нейрона n в следующем слое.
Слайд 7Распространение сигнала через выходной слой
![Распространение сигнала через выходной слой](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/1101771/slide-6.jpg)
Слайд 8На следующем шаге алгоритма, выходной сигнала сети y сравнивается с желаемым выходным сигналом z, который
![На следующем шаге алгоритма, выходной сигнала сети y сравнивается с желаемым выходным](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/1101771/slide-7.jpg)
хранится в тренировочных данных.
Разница между этими двумя сигналами называется ошибкой d выходного слоя сети.
Слайд 9Невозможно непосредственно вычислить сигнал ошибки для внутренних нейронов, потому что выходные значения
![Невозможно непосредственно вычислить сигнал ошибки для внутренних нейронов, потому что выходные значения](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/1101771/slide-8.jpg)
этих нейронов, неизвестны.
Идея заключается в распространении сигнала ошибки d (вычисленного в шаге обучения) обратно на все нейроны, чьи выходные сигналы были входящими для последнего нейрона.
Слайд 10Весовые коэффициенты Wmn, используемые для обратного распространения ошибки, равны тем же коэффициентам, что
![Весовые коэффициенты Wmn, используемые для обратного распространения ошибки, равны тем же коэффициентам,](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/1101771/slide-9.jpg)
использовались во время вычисления выходного сигнала. Только изменяется направление потока данных (сигналы передаются от выхода ко входу).
Этот процесс повторяется для всех слоёв сети. Если ошибка пришла от нескольких нейронов — она суммируются: