Нейронные сети

Хайкин С. Нейронные сети: полный курс, 2-е изд., 2006
Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение, 2-е изд., 2018
ЛИТЕРАТУРА

Говорят, что компьютерная программа обучается на опыте E относительно некоторого класса задач T и меры качества P, если качество на задачах из T, измеренное с помощью P, возрастает с ростом опыта E
МАШИННОЕ ОБУЧЕНИЕ

Классификация
Классификация при отсутствии некоторых данных
Регрессия
Машинный перевод
Структурный вывод
Обнаружение аномалий
Синтез и выборка
Шумоподавление
Кластеризация
ЗАДАЧА

ОБУЧЕНИЕ

Ошибочная цель (неточная, неправильная)
Ложные корреляции
Накопление шума
Технологические ошибки, неправильные запросы
Данные не полны и/или загрязнены
Не интерпретируемые модели
Невоспроизводимые результаты
Нет реальных данных
Ошибки в архитектуре
ПРИЧИНЫ НЕУДАЧ

ЗАНЯТНЫЕ СОВПАДЕНИЯ

ЗАНЯТНЫЕ СОВПАДЕНИЯ

РАБОТА СПЕЦИАЛИСТА ПО ДАННЫМ

CRISP-DM

ПРОЦЕСС РАЗРАБОТКИ РЕШЕНИЙ В МО

DevOps
DataOps
ModelOps
MLOps
ГИБКИЕ ПРАКТИКИ

КОНВЕЙЕР ДАННЫХ

DATAOPS

MLOPS LEVEL 0

MLOPS LEVEL 1

MLOPS LEVEL 2

Входные данные должны иметь смысл
Ошибка в коде загрузчика
Ошибки в разметке входных данных
Слишком много шума
Порядок данных
Несбалансированность классов
Малая обучающая выборка
ПРОБЛЕМЫ С НАБОРОМ ДАННЫХ

Извлекайте все данные, которые можно извлечь, но руководствуйтесь здравым смыслом.
Оцените временной горизонт, полноту и корректность данных
Можно ли доверять Вашим данным?
Оцените сбалансировать данных по классам
Достаточность размера выборки
Избегайте синтетических данных
ДАННЫЕ

Размерность пространства решения определяется количеством признаков и их увеличение приводит к экспоненциальному росту данных.
Это в свою очередь ведет к увеличению требуемых вычислительных ресурсов (как по памяти, так и по процессорному времени) и к риску возникновения мультиколлинеарности и переобучения
ПРОКЛЯТИЕ РАЗМЕРНОСТИ

тесная корреляционная взаимосвязь между отбираемыми для анализа признаками, совместно воздействующими на общий результат
МУЛЬТИКОЛЛИНЕАРНОСТЬ

Инженерия признаков (feature extraction and feature engineering) – превращение данных, специфических для предметной области, в понятные для модели векторы
Преобразование признаков (feature transformation) – трансформация данных для повышения точности алгоритма
Отбор признаков (feature selection) – отсечение ненужных признаков
ПРОЕКТИРОВАНИЕ ПРИЗНАКОВ

Исходные
Производные
Агрегированные – показатели, определенные по группе (сумма, среднее, минимум, максимум)
Индикаторы – наличие или отсутствие характеристики
Отношения – взаимосвязь между двумя или более значениями данных
Отображения – преобразование непрерывных в категориальные
ПРИЗНАКИ

тексты – это токенизация
изображения – извлечение краев и цветовые пятна
дата и время– полезно вычленить выходные и праздники, дни недели
местоположение (адрес или координаты) - извлечь плотность, средний доход по району
ИЗВЛЕЧЕНИЕ ПРИЗНАКОВ

Знание предметной области
Описательная статистика
Матрица корреляций признаков – с высокой степенью корреляции подумать над удалением
Важность – самые неважные можно удалить, на самые важные посмотреть внимательнее
Оценить распределение - выбросы
ОТБОР ПРИЗНАКОВ

ОПИСАТЕЛЬНАЯ СТАТИСТИКА

Критерий Пирсона
Прирост информации
Критерий Гини
Gain_ratio из алгоритма C4.5
ВАЖНОСТЬ ПРИЗНАКА

КРИТЕРИЙ РАЗБИЕНИЯ

КРИТЕРИЙ РАЗБИЕНИЯ

КРИТЕРИЙ РАЗБИЕНИЯ

Неоткалиброванные признаки
Слишком сильная аугментация
Применение предобработки только для одной из выборок
Долговечность признака
Пропуски
Нерегулярная мощность
Выбросы – значения, которые лежат далеко от центра распределения признака
ПРОБЛЕМЫ С ПРИЗНАКАМИ

Если доля пропущенных значений выше 60%, такой признак стоит игнорировать
Иногда сам факт отсутствия данных может быть полезен
ПРОПУСКИ

Не заполнять пропуски нулями!
Не применять восстановление к признакам, имеющим более 30% пропусков
среднее значение или медиана, для категориальных – мода
линейная или логистическая регрессия
ЗАПОЛНЕНИЕ ПРОПУСКОВ

Если равна 1, полезной информации нет, удалить
Если мощность значительно меньше количества экземпляров, можно изменить тип признака с непрерывного на категориальный
МОЩНОСТЬ

ВЫБРОСЫ

ПОРОГИ ОТСЕЧЕНИЯ

НОРМАЛИЗАЦИЯ

Обертка – процедура поиска, которая включает обучение и оценку модели. Начинаем с пустого множества и добавляем в него по одному признаку при условии, что он улучшает качество модели.
Фильтрация. Набор признаков более общий, чем набор, полученный из обёртки, что приводит к меньшей способности предсказания, чем у обёртки. Однако набор признаков не зависит от модели.
Алгоритм Relief и его производные
ТЕХНИКИ ОТБОРА