Нейросетевые технологии. Базовые понятия нейросетей

План
Примеры применения нейросетей;
Биологический и искусственный нейрон;
Разновидности нейросетей;
Разбор простейшей нейросети.

Примеры применения
Приложения по улучшению/изменению фотографии: FaceApp, Meitu и другие;
Ретушь изображения (Neural Filters) – Adobe Photoshop начиная с версий 2021 года;
Генерация изображений: объекты, лица, котики…
Генерация видео – алгоритмы компании NVIDIA;
Распознавание образов: Tesla и иные беспилотные авто; система опознавания лиц;
Анализ «больших данных» BigData: финансовые, научные и иные данные
Анализ звуковых данных: Алиса, Siri;
Генерация текстов, историй: AI Dungeon, «Порфирьевич» - основанные на нейросети GPT-2 (generative pre-training);
Генерация мелодий, голоса
Все ссылки в конце презентации.

Биологический нейрон
Дендриты – отвечают за получение сигналов возбуждения и торможения к нейрону.
Аксон – передаёт информацию от одного нейрона к другому
Терминаль – синаптическое окончание, контактирующее с другой клеткой(мишенью). Образует синапс.

Искусственный нейрон
(персептрон)
0…1
…
Предложен Фрэнком Розенблаттом в 1957 году

Искусственный нейрон
(персептрон)
0…1
…

Искусственный нейрон
(персептрон)

Виды искусственных нейронных сетей
(ИНС)
Нейросети прямого распространения;
Рекуррентные ИНС (RNN);
LSTM;
GRU.
Сеть Хопфилда;
Свёрточные ИНС (CNN и DCNN).
Развёрточные ИНС (DN)
Входной слой
Выходной слой
«Скрытые» слои
Задержка

Пример простой ИНС – ИНС с бинарным выходом

Важный предмет
Плохая погода
Друг идёт

Важный предмет
Плохая погода
Друг идёт

Важный предмет
Плохая погода
Друг идёт

Важный предмет
Плохая погода
Друг идёт
1
1
0

Обучение нейросети.
Метод обратного распространения ошибки
Важный предмет
Плохая погода
Друг идёт
1
1
0

Обучение нейросети.
Метод обратного распространения ошибки.
Задача обучения нейросети – нахождение таких значений весов, при которых
функция стоимости ошибки принимает минимальное значение.

Обучение нейросети. Вычисление градиента

Обучение нейросети. Вычисление градиента

Обучение нейросети. Вычисление градиента

Важный предмет
Плохая погода
Друг идёт
1
1
0

Ещё раз повторим алгоритм
Размечаем произвольные значения веса на всех слоях, а так же значения на входных нейронах;
Вычисляем значения активации нейронов на скрытых слоях по формуле (1);
Вычисляем значение активации на выходном нейроне;
Сравниваем с ожидаемым значением;
Если значение близко к ожидаемому, то меняем значения на входных нейронов и идём к шагу 2 (без изменения весов);
Если нет, то идём на шаг 5.
Считаем функцию ошибки по формуле (2);
Используем метод обратного распространения ошибки (формулы 3 и 4) и записываем новые значения для весов;
Возвращаемся на шаг 2.

Формулы
Дальше тоже есть формулы!

Формулы

Ссылки на нейронки
Генерируем котиков: https://thiscatdoesnotexist.com/
Генерируем истории (на русском): https://porfirevich.ru/
Генератор приключений (англ.): https://play.aidungeon.io/
Умные фильтры фотошопа: https://helpx.adobe.com/ru/photoshop/using/neural-filters.html

В следующих сериях…
(на практической)
1. Реализация простой нейросети на Python;
2. Задача распознавания рукописных цифр или «Hello, world!» от области ИНС.

Распознавание рукописного текста
Изображение 28х28 пикселя = 784 нейронов на входном слое;
Один скрытый слой с произвольным N количеством нейронов;
Выходной слой с M=10 нейронами на каждую цифру от 0 до 9.

784 нейрона
Функция активации нейрона