Свёрточные нейронные сети. Часть 1: Основные понятия, архитектура

План
Туториалы и домашнее задание
Мотивация
Свёртки, Stride, Padding
Свёрточный слой
CNN
AlexNet

TensorFlow tutorials

Kaggle

Домашка

Мотивация
Из книги
Ф. Розенблата «Основы нейродинамики»

Архитектура(зрительной коры)

Архитектура(многослойный перцептрон)

AlexNet

Как выглядят наши данные?
Существует много разных типов данных, но все они, вообще говоря, представляют собой некоторый многомерный массив «тензор»
Данные, как правило, имеют определённую структуру. Направления по осям неравнозначные (напр. шкала времени)

Как выглядят наши данные?
Главный представитель для нас – изображения. В данном случае изображение
цветное, поэтому каждый пиксель это три числа, соответствующие своим
каналам RGB, т.е. цветное изображение RGB это трёхмерные «тензоры»

Как выглядят наши данные?
В данном случае изображения чёрно-белые и задаются матрицами интенсивностей, т. е. представляют собой двухмерные «тензоры»

Свёртка(интуиция)
Распознавание объектов на изображении должно осуществляться безотносительно их положения
Нужно использовать наши знания о структуре и топологии данных(в обычных полносвязных сетях этого нет)

Свёртка 2D
gif was stolen from Wiki

Свёртка 3D
Слайд из презентации Andrew Ng

Padding

Stride

Свёрточный слой

Свёрточный слой

Свёрточный слой

Свёрточный слой
Сколько параметров в свёрточном слое с 10 фильтрами размером 3 х 3 х 3?
Ответ 280

CNN это
Свёрточные слои
FC-слои
Pooling-слои

Pooling layer
Max Pooling
Average Pooling

AlexNet

AlexNet

AlexNet