Решении DM/ML задач

Задача
Нам дали данные.
Нам поставили задачу.
Мы знаем какой должен быть результат.
Результат
Случайный лес
Случайный лес
DM Labs
Задача

Задача
Нам дали данные.
Нам поставили задачу.
Мы знаем какой должен быть результат.
Результат
Давайте решим влоб!
RF/SVM, вдруг сработает
Случайный лес
Случайный лес
DM Labs
Задача

Задача
Нам дали данные.
Нам поставили задачу.
Мы знаем какой должен быть результат.
Результат
Случайный лес
Случайный лес
DM Labs
Задача

Что произошло?
Мы что-то где-то упустили.
Результат
Случайный лес
Случайный лес
DM Labs
Что пошло не так?

Что произошло?
Мы поставили гипотезу: применим RF влоб, вдруг сработает.
Результат
Случайный лес
Случайный лес
DM Labs
Что пошло не так?

Модель.
Что если мы ошиблись с RF/SVM?
Тоесть, все заработало, но результат был плох?
Результат
Модель
Случайный лес
Случайный лес
DM Labs
Модели

Модель.
Что если мы ошиблись с RF/SVM?
Мы же не накосячили с тренировочным, валидационным и тестовым множествами, а также CV?
Результат
Модель
Случайный лес
Случайный лес
DM Labs
Модели. Обучающие множества

Модель.
Результат
Модель
Есть:
Обученная модель
Результат ее работы на валидационном(тестовом) множестве (ошибка)
Случайный лес
Случайный лес
DM Labs
Что мы хотим от моделей?

Модель.
Результат
Модель
Есть:
Обученная модель
Результат ее работы на валидационном(тестовом) множестве (ошибка)
Хотим:
Улучшить (обобщающую) точность
Случайный лес
Случайный лес
DM Labs
Что мы хотим от моделей?

Модель.
Результат
Модель
Хотим:
Улучшить (обобщающую) точность
Чем можем управлять:
Гиперпараметры
Лучший их выбор (CV, boot)
Регуляризация
Отбор признаков на уровне модели
Вид модели
Веса наблюдений при обучени
...
Целевая функция (потерь)
Случайный лес
Случайный лес
DM Labs
Что мы можем сделать с моделями?

Модель.
Результат
Модель
Сложность*
Регуляризация
Гиперпараметры
Выбор гиперпараметров тратит много машинного времени.
GBM: #base-learners, lambda, RI, *prune, Loss,
SVM: kernel, width, cost, nu-SVM, ...
GLMnet: a.ridge, AIC, response family
RF: … ?
Neural Net: … ?
Случайный лес
Случайный лес
DM Labs
Что мы можем сделать с моделями?

Модель.
Результат
Модель
Сложность*
Регуляризация
Гиперпараметры
Где мы еще могли накосячить?
Случайный лес
Случайный лес
DM Labs
Что еще могло пойти не так?

Модель.
Результат
Модель
Сложность*
Регуляризация
Гиперпараметры
Где мы еще могли накосячить?
Big Data
Machine Learning
Случайный лес
Случайный лес
DM Labs
Что еще могло пойти не так?

Модель.
Результат
Оно вообще не посчиталось.
Иногда – феерично.
Big Data
Machine Learning
Случайный лес
Случайный лес
DM Labs
Что еще могло пойти не так?

Обработка данных.
Тесно связана с моделью.
Результат
Обработка
данных
Случайный лес
Случайный лес
DM Labs
Обработка данных

Обработка данных.
Результат
Обработка
данных
Хотим:
Заставить что-то работать ☹
Уменьшить количество переменных\данных
Увеличить скорость вычисления\обучения (!=)
Случайный лес
Случайный лес
DM Labs
Обработка данных

Обработка данных.
Результат
Обработка
данных
Хотим:
Заставить что-то работать ☹
Уменьшить количество переменных\данных
Увеличить скорость вычисления\обучения (!=)
Чем можем управлять:
Убрать выбросы
Сделать подвыборку
На уровне переменных:
Сырые переменные
Проекции (PCA, ICA, RCA, deep*)
Построенные признаки (кластера)
Случайный лес
Случайный лес
DM Labs
Возможности обработки данных

Обработка данных.
В подвыборки можно вкладывать смысл:
5% юзеров, записей, уникальных юзеров, последних записей...
Feature learning – основа deep learning.
Unsupervised, обычно отдельно:
http://web.eecs.umich.edu/~honglak/nipsdlufl10-AnalysisSingleLayerUnsupervisedFeatureLearning.pdf
Результат
Обработка
Выбросы
Подвыборка
Feature Learning
Случайный лес
Случайный лес
DM Labs
Обработка данных. Feature Learning

Обработка данных.
Что-то еще?
Результат
Обработка
Выбросы
Подвыборка
Feature Learning
Случайный лес
Случайный лес
DM Labs
Что еще могло пойти не так?

Обработка данных.
Что если все еще не взлетает.
Результат
Обработка
Выбросы
Подвыборка
Feature Learning
Случайный лес
Случайный лес
DM Labs
Что еще могло пойти не так?

Гипотеза о задаче.
Самое сложное.
Понять что вообще происходит.
Неправильные фичи могут ни к чему не привести.
Результат
Гипотезы о задаче
Feature engineering
Случайный лес
Случайный лес
DM Labs
«Спросить у эксперта»

Гипотеза о задаче.
Результат
Гипотезы о задаче
Feature engineering
Есть:
Мы перепробовали кучу моделей и кучу гипотез.
Чем можем управлять:
Достать еще данных
Feature engineering
Посмотреть что делали другие:
Статьи
Продукты, PR компаний
Случайный лес
Случайный лес
DM Labs
Гипотезы о задаче

Гипотеза о задаче.
Результат
Гипотезы о задаче
Feature engineering
Пример:
Изображения: сверточные признаки, Haar-признаки
Временные ряды: fft разложения, моменты с лагом, MA
Пользователи: признаки из графа(betweenness, degree, centrality, page rank), гео-специфика
...
Случайный лес
Случайный лес
DM Labs
Гипотезы о задаче

Kaggle.
Как организовать команду?
Результат
Гипотезы о задаче
Feature engineering
Случайный лес
Случайный лес
DM Labs
Kaggle

Kaggle.
Как организовать команду?
Результат
Гипотезы о задаче
Feature engineering
Случайный лес
Случайный лес
DM Labs
Kaggle

Kaggle.
Техник: 1, 5
данные должны быть всегда доступны, сабмит всегда делался
Шпион: 2, 3, идеи про 4
изучает литературу, статьи, форумы. Генерирует идеи
Спецназ: 3, 4
заняты основной работой, не парятся об 1, 2, 5 !!!
Капитан: 1, 2, 3, 4, 5
координирует работу всех участников, следит за всем сразу
Результат
Гипотезы о задаче
Feature engineering
1 2 3 4 5
Случайный лес
Случайный лес
DM Labs
Kaggle

Kaggle.
Техник: 1, 5
…
Шпион: 2, 3, идеи про 4
…
Спецназ: 3, 4 …
Капитан: 1, 2, 3, 4, 5
…
Результат
Гипотезы о задаче
Feature engineering
1 2 3 4 5
Случайный лес
Случайный лес
DM Labs
Kaggle

Как вообще решаются задачи.
Где здесь результаты сообществ?
Machine Learning
Data Mining
Специфичных областей (видео, биология, поиск, ... )
Результат
Гипотезы о задаче
Feature engineering
DM Labs
Как вообще решают задачи?

Как вообще решаются задачи.
Где здесь результаты сообществ?
Machine Learning
Data Mining
Специфичных областей (видео, биология, поиск, ... )
Результат
Гипотезы о задаче
Feature engineering
ML
Domain
Data Miner’ами себя зовут вообще все. Даже те кто выложил данные...
DM Labs
Как вообще решают задачи?

Summary
...
DM Labs
Summary