Санкт-Петербургский государственный университетинформационных технологий, механики и оптики

А.В.Павлов ОТИИ

А.В.Павлов ОТИИ
Нейрон Мак-Каллока и Питтса 1943г.
«Логическое исчисление идей, относящихся к нервной деятельности»
• Возбуждение нейрона соответствует принципу «все или ничего».
• Время делится на дискретные моменты — такты.
• Возбуждение нейрона в какой-то момент времени происходит, если в предшествующий момент времени произошли возбуждения определенного фиксированного числа синапсов. Это число не зависит ни от предыдущей активности, ни от расположения синапсов на нейроне.
• Возбуждение по связи от одного нейрона к любому другому происходит без задержки (за один такт).
• Синапсы могут быть возбуждающими или тормозящими. Входной сигнал, прошедший через тормозящий синапс, абсолютно исключает возбуждение данного нейрона в рассматриваемый момент времени,
• С течением времени структура сети не изменяется.

А.В.Павлов ОТИИ
Σ
Input
Output

А.В.Павлов ОТИИ
Правило обучения Хэбба
Если два нейрона одновременно возбуждены, то сила связи между ними возрастает

А.В.Павлов ОТИИ
1973г., Гроссберг
Решение проблемы шумового насыщения сигмоидальной функцией

А.В.Павлов ОТИИ
Звезда Гроссберга

А.В.Павлов ОТИИ
Решение задачи распознавания
1. Обучение в соответствии с правилом Хэбба
Пара ассоциируемых векторов 1,0.5,0 <->1
1
0.5
0
1
В соответствии с правилом Хэбба сила связей
1
0.5
0

А.В.Павлов ОТИИ
Решение задачи распознавания
2. Звезда Гроссберга обучена
На вход подается эталонный вектор 1,0.5,0
1
0.5
0
1
0.5
0
На вход вычислительного нейрона поступает возбуждение 1х1+0.5х0.5=1.25
Если порог нейрона, например, 0.9, то нейрон возбуждается – это сигнал распознавания

А.В.Павлов ОТИИ
Решение задачи распознавания
2. Звезда Гроссберга обучена
Теперь на вход подается похожий на эталонный вектор 0.8,0.4,0
0.8
0.4
0
1
0.5
0
На вход вычислительного нейрона поступает возбуждение 0.8х1+0.4х0.5=1.0
Если порог по прежнему 0.9, то нейрон все равно возбуждается – сеть узнала этот измененный вектор
Меняя порог, можно менять толерантность сети, например, если порог 1.1, то этот вектор сеть уже не узнает, но узнает вектор 1,0.4,0