Платформы по соревнованиям в анализе данных (DM)

Платформы по соревнованиям в
анализе данных (DM)

Преимущества Kaggle
Наиболее раскрученная платформа
Возможность запускать in-class соревнования
Крутые соревнования от топовых IT компаний
Красивый, простой сайт
Большое количество участников
Богатый форум
Датасеты
Туториалы
Скрипты
Поиск работы в Data Science
Крутой профайл на kaggle.com отличная строчка в резюме для каждого data scientist-а и не только ☺

Как выглядят соревнования по DM?

Цикл решения задач DM

Понимание задачи
Определение и формулировании бизнес задачи
Оценка рисков, затрат, общего профита
Постановка DM целей
Определение критериев успешности
Выработка плана решения задач
Четкое понимание того что надо предсказать

Понимание данных: Первый шаг
Сбор данных
Какие данные есть: сколько примеров, сколько признаков, какие признаки по природе
Достаточно ли данных для решения задачи, есть ли необходимость собирать дополнительные данные

Понимание данных: Второй шаг
Описательные статистики
Корреляции Пирсона, Спирмена
Проверка статистических гипотез (нормальность, проверку на распределение)
Исследование распределений: гистограммы признаков, таргетов

Подготовка данных
Выбор и интеграция данных
Форматирование данных
Предобработка данных: заполнение пропусков, определение выбросов, нормализация данных, т.д.
Выбор/экстракция признаков, сокращение размерности
Инженерия признаков
Разбиение на тренировочное, тестовое множества

Построение моделей
Выбор подходящих моделей, соответствующих проверяемым гипотезам
Определение дизайна тестирования
Обучение моделей с настройкой гиперпараметров
Контроль overfitting/underfitting

Оценка качества моделей
Анализ эффективности моделей на тестовом множестве: статистические гипотезы, корреляции
Вычисление метрик оценки качества моделей
Проверка overfitting/underfitting
Постпроцессинг
Достигнут ли желаемый результат?

Развертывание системы
Финальный отчет по проекту
Выполнены ли все поставленные DM цели?
Удовлетворяют ли результаты критерия успешности?

Исследование распределений: Линеаризация

Предобработка данных
Преобразование категориальных переменных: OneHotEncoder, LabelEncoder
Преобразование категориальных переменных: hashing trick
Преобразование дат: pandas.TimeStamp, pandas.to_datetime, т.д.
Преобразование строк: regular expressions, т.д.

Заполнение пропусков
Заполнение нулями
Заполнение следующими, предыдущими значениями (pandas.fillna)
Заполнение средними, модами, медианами (sklearn.preprocessing.Imputer)
Заполнение с использованием (авто)регрессии/сезонных моделей
Заполнение с использованием специальных адаптированных алгоритмов: MLE, kNN, EM, SVM, т.д.

Определение выбросов
Определение через распределения: по квантилям, перцентилям, по другим правилам пальца
Определение через визуализацию, использую алгоритмы кластеризации (k-means, affinity propagation, ..), сокращения размерности (PCA, t-SNE, ..)
Определение через анализ построенных моделей, постпроцессинг
Определение через специальные адаптированные алгоритмы: OneClassSVM, EllipticEnvelope, IsolationForest

Нормализация данных
Стандартная нормализация
Нормализация в 0-1 или в -1, 1(для нейроных сетей)
Стемминг, лемматизация, TF-IDF и другие методы для текста
Нормализация для звука
Вычитание среднего по всем пикселям, нормализация цветов для картинок

Выбор признаков
Выбор через model-free методы: scikit-feature
Статистики (sklearn.feature_selection.SelectKBest)
Корреляции Пирсона, Спирмена
Выбор через model-based методы:
RandomForest (rf.feature_importances_, PFI)
Lasso, ElasticNet (lr.coeffs_)
NN (DFS, HVS, PFI)
RFE (SVM, kNN, т.д.)

Permutation Feature Importance

Deep Feature Selection
Li, Yifeng, Chih-Yu Chen, and Wyeth W. Wasserman. "Deep Feature Selection: Theory and Application to Identify Enhancers and Promoters." Journal of Computational Biology 23.5 (2016): 322-336.

Heuristic Variable Selection
Yacoub, Meziane, and Y. Bennani. "HVS: A heuristic for variable selection in multilayer artificial neural network classifier." Intelligent Engineering Systems Through Artificial Neural Networks, St. Louis, Missouri. Vol. 7. 1997.

Экстракция признаков
Экстракция через визуальный анализ (handcrafted признаки)
Экстракция через model-based методы (NN, RandomForest, т.д.)
Экстракция через автоэнкодеры (AE) (Stacked AE, Denoising AE, т.д.)
Экстракция через методы сокращения размерности (PCA, kernel PCA, t-SNE)
Экстракция через методы кластеризации (kNN, AffinityPropagation, DBSCAN, т.д.)

Инженерия признаков
Простейшие handcrafted признаки: среднее, дисперсия и т.п. по примеру
Исследование взаимодействия признаков между собой и признаков с таргетами
Handcrafted признаки, основанные на знании области (формулы, т.д.)
Введение зависимостей x1*x2, x1^2, sin(x1)*x2, log1p(x1), т.д.
Handcrafted признаки, основанные на анализе временных рядов (сезонность, т.д.)
Handcrafted признаки, основанные на правилах (правила переходов, т.д.)
Handcrafted признаки, основанные на пространственной зависимости примеров (ближайшие соседи, т.д.)

Построение моделей
Simple data
Complex data

Обучение нейронных сетей
Использовать методы регуляризации для сетей: Dropout, BatchNormalization, weight decay
Использовать продвинутые активационные функции
ReLU
PReLU

Обучение нейронных сетей

Обучение нейронных сетей

Модели победители на Kaggle соревнованиях
Использовать GBM из xgboost, random forest, regularized greedy forest
Использовать NN из Theano (Keras, lasagne, blocks) или Tensorflow

Технические Tips & Tricks
Делать верную предобработку данных
Правильно работать с нормализацией/выбросами/пропусками
Проводить визуальный анализ данных, чтобы лучше понять данные, извлечь высокоуровневые признаки
Делать сокращение размерности, выбор/экстрацию признаков model-free & model-based методами
Строить разные модели на разных данных
Выбрать правильные метрики
Выбрать верную кроссвалидацию
Правильно подбирать модель и ее гиперпараметры
Подбирать оптимальный порог предсказаний
Делать калибровку вероятностей моделей
Правильно работать с несбалансированными данными
Использовать аугментацию данных
Строить ансамбли моделей, т.е. делать стекинг (Stacking)

Настройка гиперпараметров
Найти оптимальное подмножество данных на котором стоит обучаться и настраивать гиперпараметры моделей
Использовать следующую схему GridSearch, RandomSearch:
На первом шаге используем попараметровый grid search для большого количества значений
На втором шаге для лучших значений используем обычный GridSearch, RandomSearch
Использовать методы байесовской оптимизации:
baeys_opt для моделей sklearn
hyperopt для моделей нейронных сетей на Theano

Оптимальный порог

Калибровка вероятностей
sklearn.calibration.CalibratedClassifierCV

Несбалансированные данные
Использовать методы балансировки данных: imbalanced-learn
Undersampling (SVM, kNN, NN)
Oversampling (SVM, kNN, NN)
Использовать методы генерирующие данные в процессе своего обучения (NN)
Использовать метрики для несбалансированных данных (F1-score, Matthews correlation cofficient)

Спасибо за внимание!
Вопросы?
Евгений Путин
Университет ИТМО
[email protected]
25 мая 2017
Санкт-Петербург