Алгоритмы оптимизации нейронной сети

Февраль 27, 2021

Главная
Информатика
Алгоритмы оптимизации нейронной сети

Содержание

2. Стохастический градиентный спуск (SGD)
3. Стандартное накопление импульса
4. Импульс Нестерова
5. АdaGrad
6. RMSProp
7. Адам
8. Подготовка набора данных
9. Формирование обучающей выборки
10. Формирование валидационной выборки.
11. Формирование тестовой выборки
12. Компиляция
13. Обучение
14. Перекрёстная энтропия
15. Расстояние Кульбака – Лейблера или относительная энтропия
17. Cross - entropy
18. Связь перекрёстной энтропии и расстояния Кульбака - Лейблера
19. Целевая функция для бинарной классификации
20. Формула Байеса для двух классов
23. k классов
30. Скачать презентацию

Слайд 2

Стохастический градиентный спуск (SGD)

Стохастический градиентный спуск (SGD)

Слайд 3

Стандартное накопление импульса

Стандартное накопление импульса

Слайд 4

Импульс Нестерова

Импульс Нестерова

Слайд 5

АdaGrad

АdaGrad

Слайд 6

RMSProp

RMSProp

Слайд 7

Адам

Адам

Слайд 8

Подготовка набора данных

Подготовка набора данных

Слайд 9

Формирование обучающей выборки

Формирование обучающей выборки

Слайд 10

Формирование валидационной выборки.

Формирование валидационной выборки.

Слайд 11

Формирование тестовой выборки

Формирование тестовой выборки

Слайд 12

Компиляция

Компиляция

Слайд 13

Обучение

Обучение

Слайд 14

Перекрёстная энтропия

Перекрёстная энтропия

Слайд 15

Расстояние Кульбака – Лейблера или относительная энтропия

Расстояние Кульбака – Лейблера или относительная энтропия

Слайд 16

Слайд 17

Cross - entropy

Cross - entropy

Слайд 18

Связь перекрёстной энтропии и расстояния Кульбака - Лейблера

Связь перекрёстной энтропии и расстояния Кульбака - Лейблера

Слайд 19

Целевая функция для бинарной классификации

Целевая функция для бинарной классификации

Слайд 20

Формула Байеса для двух классов

Формула Байеса для двух классов

Слайд 21

Слайд 22

Слайд 23

k классов

k классов

Слайд 24

Слайд 25

Слайд 26

Слайд 27

Слайд 28