Автокодировщики. RNN, GANs

Если в скрытом слое размерность меньше, чем во входном, то используется для уменьшения размерности входных данных
А если в скрытом слое больше нейронов, то может использоваться для избавления данных от искажений или в целом генерации данных, подавая на вход шум

Generative adversarial networks(GANs) – соревновательные сети
Используются 2 нейронные сети, одна учится генерировать данные, а вторая(дискриминатор) учится распознавать, реальные ли эти данные, или сгенерированные сетью

Например, генеративная сеть уподобляется фальшивомонетчику или подделывателю картин, а дискриминативная — эксперту который стремится распознать подделку.
В популярном приложении генерации человеческих лиц в качестве подлинных данных выступают реальные фотографии, а генеративная сеть пытается создать искусственные лица, варьируя комбинации таких латентных параметров, как цвет волос, пропорции лица, разрез глаз, форма носа, размер ушей, наличие бороды и усов и т. д

Рекуррентные НС
Идея в том что между нейронами создаются обратные связи, благодаря чему сеть может обрабатывать и запоминать последовательности входов, то есть у нее появляется некоторое подобие кратковременной памяти(например, запоминает порядок слов в предложении чтобы предсказать следующее)
Для этого нужно использовать более сложные нейроны, в которых хранится скрытое состояние(ячейка памяти)

LSTM –long short term memory(подтип реккурентных)