Всероссийская конференция "Нелинейная динамика в когнитивных исследованиях" Нижний Новгород, НОЦ ИПФ РАН, 13-15 мая 2009 г. ПРОСТАЯ Н

http://ecology.genebee.msu.ru

Блокирование памяти
(tip-of-the-tongue state – «вертится на языке»)
Чехов А.П. Лошадиная фамилия. Петербургская газета, 1885.
James W. The principles of Psychology. New York: Holt, 1890.
Характерные особенности блокирования:
1) Парадоксальный контраст между уверенностью в том, что образ знаком, и невозможностью воспроизвести его полностью.
2) Повышение риска блокирования с увеличением возраста.
3) Более частое блокирование имен собственных.
Tip

Узнавание и воспроизведение
Нейросетевое моделирование процесса узнавания основано на том факте, что функция энергии сети Хопфилда1 принимает большие значения для уже запомненных образов по сравнению с вновь предъявляемыми2.
1 Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities. Proc. Natl. Acad. Sci. USA, 1982, v. 79(8), 2554–2558.
2 Amit D.J. Modeling brain function—the world of attractor neural networks. Cambridge: Cambridge University Press, 1989.
Rec

Динамика состояний сети Хопфилда определяется правилом Мак-Каллока и Питтса1
а динамика синаптических весов – правилом Хебба2
1 McCulloch W. S., Pitts W. A logical calculus of the ideas immanent in neurons activity. Bull. Math. Biophys., 1943, v. 5, 115–133.
2 Hebb D.O. The Organization of Behavior. A Neuropsychlogical Theory. New York: Wiley, 1949.

1 Bogacz R., Brown M.W., Giraud-Carrier C. Model of Familiarity Discrimination in the Perirhinal Cortex.
J. Comput. Neurosc., 2001, v. 10(1), 5-23.
Hopf
Функция энергии сети Хопфилда задается выражением:
Максимальное число образов, которые могут быть предъявлены сети Хопфилда и затем с ошибкой менее 1% узнаны как знакомые равно 0.023N2 против числа 0.145N, которые могут быть запомнены сетью с возможностью последующего полного воспроизведения1.

Мы модифицировали формулу энергии, заменив внутреннюю сумму ее знаком:
Учитывая правило Мак-Каллока и Питтса
получаем:
т.е. модифицированная энергия просто пропорциональна скалярному произведению двух последовательных состояний сети.

Hopf
Учитывая простоту формулы
и быстроту вычислений по ней (один временной шаг) можно, во-первых, предположить, что такого рода механизм узнавания реализуется в реальных биологических нейронных сетях, и, во-вторых, предложить этот механизм для реализации функции узнавания в искусственных когнитивных системах.
Была построена конкретная нейронная сеть, решающая задачу узнавания с помощью вычисления модифицированной энергии и была определена емкость ее памяти.

Архитектура сети узнавания
На шаге t веса от нейронов первого слоя сети Хопфилда к узнающему нейрону устанавливаются (по правилу Хебба) равными x1(t), x2(t), …, xN(t), а на шаге t+1 – равными (по правилу Мак-Каллоха и Питтса) - знаку скалярного произведения векторов x1(t), x2(t), …, xN(t) и x1(t+1), x2(t+1), …, xN(t+1).
Net

Вычисление емкости памяти узнавания
N=700; i=0;
for P=500:500:12000
i=i+1;
Xfam=sign(rand(N,P)-.5);
Xnov=sign(rand(N,P)-.5);
W=Xfam*Xfam'-P*eye(N);
Yfam=sign(W*Xfam);
Ynov=sign(W*Xnov);
for p=1:P
Efam(p)=Xfam(:,p)'*Yfam(:,p);
Enov(p)=Xnov(:,p)'*Ynov(:,p);
end;
PP(i)=P;
Mf(i)=mean(Efam);
Sf(i)=std(Efam);
Mn(i)=mean(Enov);
Sn(i)=std(Enov);
end;
plot(PP,Mf,PP,Mf-2.33*Sf,PP,Mn,PP,Mn+2.33*Sn);

Емкость памяти узнавания
Емкость памяти узнавания построенной сети равна 0.018N2 , т.е. 80% от максимума 0.023N2 .

Блокирование памяти
(tip-of-the-tongue state – «вертится на языке»)
Чехов А.П. Лошадиная фамилия. Петербургская газета, 1885.
James W. The principles of Psychology. New York: Holt, 1890.
Характерные особенности блокирования:
1) Парадоксальный контраст между уверенностью в том, что образ знаком, и невозможностью воспроизвести его полностью.
2) Повышение риска блокирования с увеличением возраста.
3) Более частое блокирование имен собственных.
Tip

Age
Модель старения мозга
С возрастом в мозге происходит множество нейроанатомических и нейрохимических изменений, способствующих ослаблению межнейронных связей. Например, начиная с 20-летнего возраста постоянно снижается плотность многих постсинаптических рецепторов, вследствие чего снижается чувствительность нейронов к входящим сигналам.
Исходя из этого, мы ввели в сигмоидную функцию активации параметр G и связали процесс старения мозга с уменьшением величины этого параметра.
Star

Функция энергии для сети Хопфилда является суммой двух членов:
При больших G преобладающее значение имеет первый член:
При малых G преобладает второй член:

Функция энергии для сети из двух нейронов
E1
E2
E1+E2

Когнитивный эффект возрастного сглаживания функции энергии сети (G1>G2>G3>G4)
Age

«Варифокальность» мышления
Foc

«Варифокальность» мышления
4гр