Санкт-Петербургский государственный университетинформационных технологий, механики и оптики

Павлов А.В. Инт.Инф.Сист.
Проблематика
Дилемма стабильности-пластичности памяти
Общая идея адаптивного резонанса
Наличие внутреннего «детектора новизны»
Введение «шаблона критических черт»
Введение «ориентирующей системы»
Правило 2/3 (два из трех)
Встречное ожидание

Павлов А.В. Инт.Инф.Сист.
Принципиальная архитектура ART1
состоит из двух нейронных слоев – сравнения С и распознавания R, соединенных матрицами памяти B и T, двух приемников G1 и G2 и блока сброса.
Рис. принципиальная архитектура ART1

Павлов А.В. Инт.Инф.Сист.
Принципиальная архитектура ART1
Слой сравнения
G1
сброс
Х
С
+
+
Р
Поступление входного вектора Х на
слой сравнения С
Управляющее воздействие блока G1
Формирование вектора С
Работа слоя распознавания
Модификация вектора С вектором R,
поступившим из распознающего слоя
G2

Павлов А.В. Инт.Инф.Сист.
Принципиальная архитектура ART1
Слой распознавания
G1
Bij
сброс
С
R
-
+
-
осуществляет классификацию входных векторов.
Р
Поступление в слой распознавания вектора весов Вj
Классификация входного вектора посредством реализации идеологии WTA, латеральное торможение
G1=0
Формирование вектора R, обнуление G1
Формирование вектора встреч-ного ожидания Р
Сброс сигнала нейрона победителя если вектор С не похож на Х

Павлов А.В. Инт.Инф.Сист.
Принципиальная архитектура ART1
Приемники G1 и G2
G1. Выходной сигнал G1 равен 1, если хотя бы одна компонента двоичного входного вектора X равна единице; однако если хотя бы одна компонента вектора R равна единице, G1 устанавливается в нуль.
G2. Выход G2, равен единице, если входной вектор X имеет хотя бы одну единичную компоненту. Более точно, G2 является логическим ИЛИ от компонент вектора X.
Модуль сброса
Вычисляет сходство между векторами C и X как отношение количества единиц в C к их количеству в X. Если это отношение ниже установленного порога, то вырабатывается сигнал сброса возбужденного нейрона в слое распознавания и сеть продолжает поиск среди ранее запомненных образов.

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Инициализация сети
Распознавание
Сравнение
Поиск
Обучение

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Инициализация сети
Установление весов матриц В и Т для корректного функциони-рования АРТ:
ρ - уровень сходства, устанавливается в диапазоне от 0 до 1 (выбирается на основе требований решаемой задачи).
Большие величины ρ ведут к высокой «разборчивости» сети, низкие – в слабой.
В процессе функционирования величина ρ должна адаптивно изменяться.

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Распознавание
G1
G2
T
B
сброс
С
Х
С
R
+
-
+
-
G1=1
G2=1
+
+

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Распознавание
где Bj - весовой вектор, соответствующий нейрону j в слое распознавания, С – выходной вектор нейронов слоя сравнения (в этот момент С=Х),
NETj – возбуждение нейрона j в слое распознавания.
Нейрон с максимальным NET становится единственным победителем.
Как обсуждалось ранее, распознавание реализуется вычислением свертки для каждого нейрона слоя распознавания, определяемой следующим выражением:
G1
Bij
сброс
С
R
+
-

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Сравнение
G1
Bij
сброс
С
R
-
+
-
G1=0
P
- Х классифицирован
Нейрон-победитель формирует вектор R
Поскольку вектор R теперь не нулевой, то G1 устанавливается в 0
Формирование вектора P
Сравнение P и X - в соответствии с правилом «два из трёх»
Заключение о классификации или…
Выработка сигнала сброса
где D – количество единиц в векторе X,
N – количество единиц в векторе С
Торможение возбужденного нейрона-победителя

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Сравнение
Блок сброса сравнивает вектор С и входной вектор Х, вырабатывая сигнал сброса, когда их сходство S ниже порога сходства. Вычисление этого сходства упрощается тем, что оба вектора являются двоичными.
Следующая процедура проводит требуемое вычисление сходства:
Вычислить D – количество единиц в векторе Х;
Вычислить N – количество единиц в векторе С.
Вычислить сходство: S=N/D
Например, примем, что:
X = 1011101, D = 5,
C = 0011101, N = 4,
S= N/D = 4/8 = 0.8
S может меняться от 0 (наихудшее соответствие) до 1 (наилучшее).
Заметим, что правило двух третей делает C логическим произведением входного вектора X и вектора P. Однако P равен Tj - весовому вектору выигравшего соревнование нейрона. Таким образом, D может быть определено как количество единиц в логическом произведении векторов Tj и X.

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Поиск
Торможение возбужденного на предыдущем этапе нейрона-победителя в
слое распознавания ведет к:
обнулению всех компонент вектора R,
G1 устанавливается в «1»
входной вектор X еще раз предъявляется в качестве C.
Теперь только другой нейрон может стать победителем в слое распознавания, соответственно, и другое встречное ожидание P будет предъявлено слою сравнения. Если и на этот раз P не соответствует X, то и этот нейрон в слое распознавания будет заторможен.

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Поиск
Процесс поиска среди ранее запомненных образов будет продолжен до тех пор, пока не наступит один из двух исходов:
Будет найден ранее запомненный образ, сходство которого с входным вектором X превышает порог, т. е. S>ρ. В этом случае процесс классификации остановится и сеть перейдет в режим дообучения для модификации матриц весов Tj и Bj, связанных с нейроном-победителем в слое распознавания.
Среди запомненных образов не будет найдено ни одного, соответствующего входному. В этом случае свободный нейрон в слое распознавания, веса которого равны единице, будет назначен этому образу.
В соответствии с правилом «2/3» вектор С будет идентичен входному вектору X, S=1 и условие S>ρ будет выполнено. Матрицы весов Bj и Tj будут настроены для соответствия новому входному образу.

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Обучение
Обучение представляет собой процесс, в котором набор входных векторов подается последовательно на вход сети, а веса сети изменяются при этом таким образом, чтобы сходные векторы активизировали соответствующие им нейроны.
Заметим, что это - неуправляемое обучение, здесь нет учителя и нет целевого вектора, определяющего требуемый ответ.
Рассмотренный далее обучающий алгоритм используется как в случае успешного, так и в случае неуспешного поиска.

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Обучение
В такой интерпретации «большие» вектора С производят меньшие величины весов bij, чем «маленькие» вектора С. Это свойство самомасштабирования делает возможным разделение двух векторов в случае, когда один вектор является поднабором другого; т. е. когда набор единичных компонент одного вектора составляет подмножество единичных компонент другого.
Пусть вектор весов Bj (связанный с возбужденным нейроном j распозна-ющего слоя) равен нормализованной величине вектора C. Эти веса вычис-ляются следующим образом:
сi – i-я компонента выходного вектора слоя сравнения;
j – номер выигравшего нейрона в слое распознавания;
bij – вес связи, соединяющей нейрон i в слое сравнения с нейроном j в слое распознавания;
L – константа > 1 (обычно 2).
Сумма в знаменателе представляет собой количество единиц на выходе слоя сравнения, т.е.«размер» этого вектора.

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Обучение
Если масштабирования нет, то предъявляя X2 увидим, что оба нейрона в слое распознавания будут иметь одинаковый уровень активации равный «1».
Для понимания важности свойства самомасштабирования рассмотрим пример классификации ранее известных сети векторов Х1=10000 и Х2=11100.

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Обучение
Х1=10000, Х2=11100.
А если L=3, то:

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Обучение
тогда, подавая на вход сети вектор Х1, получим возбуждение в слое распознавания «1» – для нейрона 1 и «3/5» - для нейрона 2
таким образом, нейрон 1 (правильный) станет победителем. Аналогично,
предъявление вектора Х2 возбудит нейрон 1 до уровня «1», и нейрон 2 до
уровня «9/5», тем самым снова правильно выбрав победителя.

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Распознавание
теперь пусть на вход поступает вектор X3 = 1 1 0 0 0.
Нейрон 2 побеждает, С примет значение 1 1 0 0 0, следовательно,
S примет значение «1», и в силу выполнения критерия сходства поиск будет
остановлен.

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Обучение
Х1=10000, Х2=11100.
А если L=1.5, то:

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Распознавание
теперь пусть снова на вход поступает вектор X3 = 1 1 0 0 0.
Нейрон 1 побеждает, С примет значение 1 1 0 0 0, следовательно,
S примет значение «1», и в силу выполнения критерия сходства поиск будет
остановлен.
Т.е. варьируя параметр L мы можем изменять предпочтения сети.

Павлов А.В. Инт.Инф.Сист.
Этапы работы сети
Обучение
Отметим, что для правильного функционирования сети необходима инициализация весов матрицы B малыми значениями, так как в случае инициализации большими значениями возможен вариант, когда ранее запомненный входной вектор будет активировать не «свой» нейрон, а новый – сеть будет лишена способности «вспоминать», бесконечно обучаясь и ничего не вспоминая из прошлого.
Веса матрицы Тj, связанной с новым запомненным вектором, изменяются так, чтобы они стали равны соответствующим двоичным величинам вектора С:
tij = сi для всех i, где tij - вес связи между нейроном-побудителем j в слое распознавания и нейроном i в слое сравнения.