Машинное обучение: начало

Знакомство: Куралёнок Игорь
Руководитель группы модернизации поиска. Яндекс.
[phone]

Что почитать?
Википедия (лучше en)
T. Hastie, R. Tibshirani, J. Friedman “The elements of Statistical Learning”
T. Mitchell “Machine Learning”
Труды конференций: ICML, KDD, NIPS, CIKM,…
Журналы: JMLR, JML, JIS, NC
Видео курс: www.ml-class.org

Какие у нас цели?
Уметь сформулировать задачу в терминах ML
Найти подходящий класс решающих алгоритмов по формулировке
Ориентироваться в области и знать «где посмотреть» существующие решения
Понимать границы применимости

Что нужно, чтобы понять?
ТВ и МС
Линейная алгебра
Язык программирования

Как отчитываться?
К концу обучения сделать 15 минутную презентацию по применению ML в вашей любимой задаче.
Задачки на Octave
Ошибки к лекциях и в слайдам :)

Машинное обучение: определения
Tom M. Mitchell: A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.
Webster: machine learning - The ability of a machine to improve its performance based on previous results.
Ru.Wikipedia: Машинное обучение — обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться.

Немного истории
50-60 базы знаний, полнотекстовый поиск, распознавание образов, нейронные сети
70-е символьный вывод, Quinlan ID3 деревья, разумные практические результаты, VC-оценки
80-е первые конференции, много практического применения, активное применение кластеризации в анализе
90-е повторное семплирование в ML, SVM, применение в IR, ML != DM, LASSO, bagging, boosting, CF валидация
00-е Compressed sensing, развитие ансамблей,…

Основные понятия
Область работы
Опыт = Data Set = DS
Целевая функция = Target
Решающая функция

Какое бывает обучение
Делить можно по:
способу генерации DS;
виду целевой функции; классу решающих функций;

Деление по способу формирования DS/U
Transductive
Обычное
Активное
Стохастическая оптимизация
Бюджетное
Бандиты Необычное
Online learning
Reinforcement learning

Transductive learning
Фиксируем множество примеров
Фиксируем рабочее множество
Обучаемся на всех/доступных примерах

Обычное обучение
Фиксируем множество примеров
Определяем генеральную совокупность
Обучаемся на доступных примерах

Активное обучение
Фиксируем множество примеров
Определяем генеральную совокупность
Обучаемся на доступных примерах Пополняем множество примеров по просьбе алгоритма и переходим к п. 3

Активное обучение
Стохастическая оптимизация:
Бюджетное
Бандиты

Деление по целевой функции
С учителем
Классификация
Аппроксимация (экстраполяция)
Metric learning
Последовательности Без учителя
Кластеризация
Уменьшение размерности
Representation Learning
Смешанные
Кластеризация с условиями
Все те же, что и с учителем
Transfer learning

Обучение с учителем
Классификация
Аппроксимация (экстраполяция)
Metric learning = Классификация
Последовательности

Другое обучение
Без учителя
Кластеризация
Уменьшение размерности
Representation Learning
Смешанные
Кластеризация с условиями
Все те же, что и с учителем
Transfer learning

Деление по решающей функции
Линейные решения
Графы
Нейронные сети (ANN)
Параметрические семейства функций
Instance based learning
Предикаты
Ансамбли

Деление по решающей функции (1)
Линейные решения
Линейная регрессия, логистическая регрессия Скрытый дискриминантный анализ (LDA/QDA*)
LASSO
SVM
LSI*

Деление по решающей функции (2)
Графы
Деревья решений
Байесовы сети
Conditional Random Fields
Нейронные сети (ANN)
Персептронные сети
Сети Хопфилда
Машины Больцмана
Сети Кохоннена

Деление по решающей функции (3)
Параметрические семейства функций
Сэмплирование
Генетические алгоритмы
PLSI/LDA/прочие модели с распределениями (им нет числа)
Instance based learning
kNN

Деление по решающей функции (4)
Предикаты
Логические выражения
Регулярки/NFA/DFA
Ансамбли
Просто ансамбли
Bagging
Boosting
BagBoo/BooBag

ОТСЕБЯТЕНА
Машинное Обучение: Начало

Дедуктивные/индуктивные методы

Data Mining vs. Machine Learning

Artificial Intelligence vs. Machine Learning