Нейронные сети

Содержание

Слайд 3

Хайкин С. Нейронные сети: полный курс, 2-е изд., 2006
Гудфеллоу Я., Бенджио И.,

Хайкин С. Нейронные сети: полный курс, 2-е изд., 2006 Гудфеллоу Я., Бенджио
Курвилль А. Глубокое обучение, 2-е изд., 2018

ЛИТЕРАТУРА

Слайд 7

Говорят, что компьютерная программа обучается на опыте E относительно некоторого класса задач

Говорят, что компьютерная программа обучается на опыте E относительно некоторого класса задач
T и меры качества P, если качество на задачах из T, измеренное с помощью P, возрастает с ростом опыта E

МАШИННОЕ ОБУЧЕНИЕ

Слайд 8

Классификация
Классификация при отсутствии некоторых данных
Регрессия
Машинный перевод
Структурный вывод
Обнаружение аномалий
Синтез и выборка
Шумоподавление
Кластеризация

ЗАДАЧА

Классификация Классификация при отсутствии некоторых данных Регрессия Машинный перевод Структурный вывод Обнаружение

Слайд 9

ОБУЧЕНИЕ

ОБУЧЕНИЕ

Слайд 10

Ошибочная цель (неточная, неправильная)
Ложные корреляции
Накопление шума
Технологические ошибки, неправильные запросы
Данные не полны и/или

Ошибочная цель (неточная, неправильная) Ложные корреляции Накопление шума Технологические ошибки, неправильные запросы
загрязнены
Не интерпретируемые модели
Невоспроизводимые результаты
Нет реальных данных
Ошибки в архитектуре

ПРИЧИНЫ НЕУДАЧ

Слайд 11

ЗАНЯТНЫЕ СОВПАДЕНИЯ

ЗАНЯТНЫЕ СОВПАДЕНИЯ

Слайд 12

ЗАНЯТНЫЕ СОВПАДЕНИЯ

ЗАНЯТНЫЕ СОВПАДЕНИЯ

Слайд 13

РАБОТА СПЕЦИАЛИСТА ПО ДАННЫМ

РАБОТА СПЕЦИАЛИСТА ПО ДАННЫМ

Слайд 15

ПРОЦЕСС РАЗРАБОТКИ РЕШЕНИЙ В МО

ПРОЦЕСС РАЗРАБОТКИ РЕШЕНИЙ В МО

Слайд 16

DevOps
DataOps
ModelOps
MLOps

ГИБКИЕ ПРАКТИКИ

DevOps DataOps ModelOps MLOps ГИБКИЕ ПРАКТИКИ

Слайд 17

КОНВЕЙЕР ДАННЫХ

КОНВЕЙЕР ДАННЫХ

Слайд 19

MLOPS LEVEL 0

MLOPS LEVEL 0

Слайд 20

MLOPS LEVEL 1

MLOPS LEVEL 1

Слайд 21

MLOPS LEVEL 2

MLOPS LEVEL 2

Слайд 22

Входные данные должны иметь смысл
Ошибка в коде загрузчика
Ошибки в разметке входных данных
Слишком

Входные данные должны иметь смысл Ошибка в коде загрузчика Ошибки в разметке
много шума
Порядок данных
Несбалансированность классов
Малая обучающая выборка

ПРОБЛЕМЫ С НАБОРОМ ДАННЫХ

Слайд 23

Извлекайте все данные, которые можно извлечь, но руководствуйтесь здравым смыслом.
Оцените временной горизонт,

Извлекайте все данные, которые можно извлечь, но руководствуйтесь здравым смыслом. Оцените временной
полноту и корректность данных
Можно ли доверять Вашим данным?
Оцените сбалансировать данных по классам
Достаточность размера выборки
Избегайте синтетических данных

ДАННЫЕ

Слайд 24

Размерность пространства решения определяется количеством признаков и их увеличение приводит к экспоненциальному

Размерность пространства решения определяется количеством признаков и их увеличение приводит к экспоненциальному
росту данных.
Это в свою очередь ведет к увеличению требуемых вычислительных ресурсов (как по памяти, так и по процессорному времени) и к риску возникновения мультиколлинеарности и переобучения

ПРОКЛЯТИЕ РАЗМЕРНОСТИ

Слайд 25

тесная корреляционная взаимосвязь между отбираемыми для анализа признаками, совместно воздействующими на общий

тесная корреляционная взаимосвязь между отбираемыми для анализа признаками, совместно воздействующими на общий результат МУЛЬТИКОЛЛИНЕАРНОСТЬ
результат

МУЛЬТИКОЛЛИНЕАРНОСТЬ

Слайд 26

Инженерия признаков (feature extraction and feature engineering) – превращение данных, специфических для

Инженерия признаков (feature extraction and feature engineering) – превращение данных, специфических для
предметной области, в понятные для модели векторы
Преобразование признаков (feature transformation) – трансформация данных для повышения точности алгоритма
Отбор признаков (feature selection) – отсечение ненужных признаков

ПРОЕКТИРОВАНИЕ ПРИЗНАКОВ

Слайд 27

Исходные
Производные
Агрегированные – показатели, определенные по группе (сумма, среднее, минимум, максимум)
Индикаторы – наличие

Исходные Производные Агрегированные – показатели, определенные по группе (сумма, среднее, минимум, максимум)
или отсутствие характеристики
Отношения – взаимосвязь между двумя или более значениями данных
Отображения – преобразование непрерывных в категориальные

ПРИЗНАКИ

Слайд 28

тексты – это токенизация
изображения – извлечение краев и цветовые пятна
дата и время–

тексты – это токенизация изображения – извлечение краев и цветовые пятна дата
полезно вычленить выходные и праздники, дни недели
местоположение (адрес или координаты) - извлечь плотность, средний доход по району

ИЗВЛЕЧЕНИЕ ПРИЗНАКОВ

Слайд 29

Знание предметной области
Описательная статистика
Матрица корреляций признаков – с высокой степенью корреляции подумать

Знание предметной области Описательная статистика Матрица корреляций признаков – с высокой степенью
над удалением
Важность – самые неважные можно удалить, на самые важные посмотреть внимательнее
Оценить распределение - выбросы

ОТБОР ПРИЗНАКОВ

Слайд 30

 

ОПИСАТЕЛЬНАЯ СТАТИСТИКА

ОПИСАТЕЛЬНАЯ СТАТИСТИКА

Слайд 31

Критерий Пирсона
Прирост информации
Критерий Гини
Gain_ratio из алгоритма C4.5

ВАЖНОСТЬ ПРИЗНАКА

Критерий Пирсона Прирост информации Критерий Гини Gain_ratio из алгоритма C4.5 ВАЖНОСТЬ ПРИЗНАКА

Слайд 32

 

КРИТЕРИЙ РАЗБИЕНИЯ

КРИТЕРИЙ РАЗБИЕНИЯ

Слайд 33

 

КРИТЕРИЙ РАЗБИЕНИЯ

КРИТЕРИЙ РАЗБИЕНИЯ

Слайд 34

 

КРИТЕРИЙ РАЗБИЕНИЯ

КРИТЕРИЙ РАЗБИЕНИЯ

Слайд 35

Неоткалиброванные признаки
Слишком сильная аугментация
Применение предобработки только для одной из выборок
Долговечность признака
Пропуски
Нерегулярная мощность
Выбросы

Неоткалиброванные признаки Слишком сильная аугментация Применение предобработки только для одной из выборок
– значения, которые лежат далеко от центра распределения признака

ПРОБЛЕМЫ С ПРИЗНАКАМИ

Слайд 36

Если доля пропущенных значений выше 60%, такой признак стоит игнорировать
Иногда сам факт

Если доля пропущенных значений выше 60%, такой признак стоит игнорировать Иногда сам
отсутствия данных может быть полезен

ПРОПУСКИ

Слайд 37

Не заполнять пропуски нулями!
Не применять восстановление к признакам, имеющим более 30% пропусков
среднее

Не заполнять пропуски нулями! Не применять восстановление к признакам, имеющим более 30%
значение или медиана, для категориальных – мода
линейная или логистическая регрессия

ЗАПОЛНЕНИЕ ПРОПУСКОВ

Слайд 38

Если равна 1, полезной информации нет, удалить
Если мощность значительно меньше количества экземпляров,

Если равна 1, полезной информации нет, удалить Если мощность значительно меньше количества
можно изменить тип признака с непрерывного на категориальный

МОЩНОСТЬ

Слайд 39

 

ВЫБРОСЫ

ВЫБРОСЫ

Слайд 40

 

ПОРОГИ ОТСЕЧЕНИЯ

ПОРОГИ ОТСЕЧЕНИЯ

Слайд 41

 

НОРМАЛИЗАЦИЯ

НОРМАЛИЗАЦИЯ

Слайд 42

Обертка – процедура поиска, которая включает обучение и оценку модели. Начинаем с

Обертка – процедура поиска, которая включает обучение и оценку модели. Начинаем с
пустого множества и добавляем в него по одному признаку при условии, что он улучшает качество модели.
Фильтрация. Набор признаков более общий, чем набор, полученный из обёртки, что приводит к меньшей способности предсказания, чем у обёртки. Однако набор признаков не зависит от модели.
Алгоритм Relief и его производные

ТЕХНИКИ ОТБОРА