Математика и статистика для анализа данных

Теория множеств и линейная алгебра
математика и статистика
занятие 3
план занятия
Основные понятия теории множеств
Множества, как основа математики
Диаграммы Венна
Операции над множествами
Повторение дифференциального и интегрального исчисления
Матрицы и векторы
Структура set в Python

Не Паникуй!
Дуглас Адамс – Автостопом по Галактике

План курса
Процесс, генерирующий данные
Данные, которые мы наблюдаем
Вероятность
Статистические выводы
Data Mining
По мотивам L. Wasserman “All of Statistics”

Повторение математики

Зачем?
Нам нужны ответы на такие вопросы:
Допустим, мы решим, что каждая сторона кости выпадает с вероятностью ⅙ . Как понять, с какой вероятностью цифра 5 выпадет на первом броске, если мы кидаем кости 2 раза?
Допустим, мы знаем, как распределена высота населения, то есть какой процент населения имеет какой рост в определенном интервале. Какая вероятность встретить случайно человека с ростом больше 195 см?
Допустим, мы знаем вероятности, что в очереди за IPhone мы будем ждать меньше 10, 20, 30, 40, 50 минут. Какая вероятность, что мы будем ждать 27 ± 2 минуты?
Картинку с кубиками можно заменить. Например, на что-то в таком ключе https://www.shutterstock.com/ru/image-vector/dice-cubes-on-white-background-vector-1034612269
Было бы очень здорово перерисовать эту картинку. Можно только людей с ростом и кривую без текста с процентами.

Зачем?
Нам нужны ответы на такие вопросы:
Допустим, мы решим, что каждая сторона кости выпадает с вероятностью ⅙ . Как решить, с какой вероятностью цифра 5 выпадет на первом броске, если мы кидаем кости 2 раза?

Зачем?
Нам нужны ответы на такие вопросы:
По каким законам мы можем оперировать с вероятностью?

Зачем?
Нам нужны ответы на такие вопросы:
По каким законам мы можем оперировать с вероятностью?
Допустим, мы знаем, как распределена высота населения, то есть какой процент населения имеет какой рост в определенном интервале. Какая вероятность встретить случайно человека с ростом больше 195 см?

Зачем?
Нам нужны ответы на такие вопросы:
По каким законам мы можем оперировать с вероятностью?
Как найти площадь под кривой распределения?

Зачем?
Нам нужны ответы на такие вопросы:
По каким законам мы можем оперировать с вероятностью?
Как найти площадь под кривой распределения?
Допустим, мы знаем вероятности, что в очереди за IPhone мы будем ждать меньше 10, 20, 30, 40, 50 минут. Какая вероятность, что мы будем ждать 27 ± 2 минуты?

Зачем?
Нам нужны ответы на такие вопросы:
По каким законам мы можем оперировать с вероятностью?
Как найти площадь под кривой распределения?
Как найти распределение, если мы знаем площади под его кривой для различных интервалов

Ответы
Мы получим ответы на эти вопросы с помощью математических инструментов.
По каким законам мы можем оперировать с вероятностью?
Как найти площадь под кривой распределения?
Как найти распределение, если мы знаем площади под его кривой для различных интервалов

Ответы
Мы получим ответы на эти вопросы с помощью математических инструментов.
Математическая вероятность на основе Теории множеств
Интегральное исчисление
Дифференциальное исчисление

Теория Множеств

Что это и зачем?
Наша цель – говорить о результатах случайных процессов (событиях), которые нас интересуют и присваивать им вероятности.
Как упадут кости на следующем броске?
Кто выиграет на выборах?
Какой мой шанс выиграть в лото?
Сейчас вероятность для нас все еще слова, которые мы наивно используем…
Фокус этого урока – сами результаты и их описание.
Вероятность

Что это и зачем?
Наша цель – говорить о результатах случайных процессов (событиях), которые нас интересуют и присваивать им вероятности.
Как упадут кости на следующем броске
Кто выиграет на выборах
Какой мой шанс выиграть в лото
Сейчас вероятность для нас все еще слова, которые мы наивно используем…
Фокус этого урока – сами результаты и их описание
Вероятность
Один из возможных результатов броска 2 костей

Случайные процессы
Процессы, результат которых невозможно точно предсказать:
Бросок монетки или кости
Движение атмосферы и как результат - погода завтра
Выборы президента (мы не знаем точное мнение каждого человека)
Физика станка и качество каждой детали
Возможные результаты процесса можно описать заранее и они взаимно исключают друг друга:
Орел или решка, 1 или 6
Четное число при броске кости
Дождик или сухой день
Клинтон или Буш
Брак или не брак

Множества
Мы будем использовать множества для описания всех возможных результатов одного случайного процесса.
Множество: все члены одного шахматного клуба.
Характеристическое свойство: быть членом этого клуба, иметь членскую книжку.
Быть членом одного клуба не мешает быть также членом другого клуба.
Множество: набор, совокупность, собрание каких-либо объектов, которые называются элементами этого множества и обладают общим для всех их характеристическим свойством.

Примеры множеств
Все результаты броска монетки:
Все результаты броска кости:
Результаты броска кости:
Число 6
Четное число
Число больше 2

Примеры множеств
Результаты выборов президента
Множество натуральных чисел
Пустое множество
Негативное число как результат броска кости

Бесконечные множества
Сколько элементов в множестве натуральных чисел?
Множество вещественных чисел тоже бесконечно, но оно даже не счетное (не обязательное знание для этого курса).
Если есть дальнейший интерес: почитайте о парадоксе Рассела.

Элементы
Объекты, из которых состоит множество, называют элементами множества.
6-ой элемент множества результатов броска кости
7-ой не является результатом броска кости

Подмножества
Одно множество А может быть подмножеством другого множества B, если все его элементы также элементы другого множества.
Множество результатов броска кости больше числа 2 подмножества всех результатов

Диаграммы Венна
Настоящее или фиктивное множество, все множества, которые нас интересуют, будут считаться подмножеством этого множества

Диаграммы Венна
Множество А
А

Диаграммы Венна
А
Элемент х

Диаграммы Венна
А
Подмножество B
B

Пересечение множеств
А
B

Объединение множеств
А
B

Разность множеств
А
B

Дополнение множеств
А

Булеан – множество всех подмножеств

Дифференциальное исчисление

Что такое скорость?
Время (t)
Расстояние (s)
90 км
30 км
80 мин
15 мин

90 км
Что такое скорость?
Время (t)
Расстояние (s)
30 км
80 мин
15 мин

90 км
Что такое скорость?
Время (t)
Расстояние (s)
30 км
80 мин
15 мин
Средняя скорость

90 км
Какая скорость машины в каждый момент времени?
Время (t)
Расстояние (s)
30 км
80 мин
15 мин
h

90 км
Какая скорость машины в каждый момент времени?
Время (t)
Расстояние (s)
30 км
80 мин
15 мин
h

90 км
Какая скорость машины в каждый момент времени?
Время (t)
Расстояние (s)
30 км
80 мин
15 мин
h

90 км
Какая скорость машины в каждый момент времени?
Время (t)
Расстояние (s)
30 км
80 мин
15 мин

Какая скорость машины в каждый момент времени?
Время (t)
Скорость (v)

Пример с функциями

Примеры дифференциалов

Зачем нам это?
Нам нужно будет знать, где функции принимают свое максимальное или минимальное значение.
Мы будем использовать, что дифференциал принимает в этом месте значение 0!

Интегральное исчисление

Что, если мы знаем только скорость?
Какое расстояние проехала эта машина в течение 40 мин?
Время (t)
Скорость (v)
40 мин
70 км/ч

Что, если мы знаем только скорость?
Какое расстояние проехала эта машина в течение 40 мин?
Расстояние – это
скорость* время
Идея:
Делим время на маленькие интервалы
Время (t)
Скорость (v)
40 мин
70 км/ч
?

70 км/ч
Что, если мы знаем только скорость?
Какое расстояние проехала эта машина в течение 40 мин?
Расстояние – это
скорость* время
Идея:
Делим время на маленькие интервалы
Берем скорость в момент начала интервала
Время (t)
Скорость (v)
40 мин
?

Что, если мы знаем только скорость?
Какое расстояние проехала эта машина в течение 40 мин?
Расстояние – это
скорость* время
Идея:
Делим время на маленькие интервалы
Берем скорость в момент начала интервала
Умножаем скорость на длину интервала и получаем расстояние, пройденное в этом интервале
Время (t)
Скорость (v)
40 мин
70 км/ч
?

Что, если мы знаем только скорость?
Какое расстояние проехала эта машина в течение 40 мин?
Расстояние – это
скорость* время
Идея:
Делим время на маленькие интервалы
Берем скорость в момент начала интервала
Умножаем скорость на длину интервала и получаем расстояние, пройденное в этом интервале
Суммируем все расстояния
Время (t)
Скорость (v)
40 мин
70 км/ч
?

Что, если мы знаем только скорость?
Какое расстояние проехала эта машина в течение 40 мин?
Расстояние – это
скорость* время
Наша проблема превратилась в проблему нахождения площади под кривой → интегральное исчисление
Время (t)
Скорость (v)
40 мин
70 км/ч
?

Что, если мы знаем только скорость?
Какое расстояние проехала эта машина в течение 40 мин?
Расстояние – это
скорость* время
В следующем шаге нам надо уменьшить ошибку, делая наши отрезки все меньше и меньше
Время (t)
Скорость (v)
40 мин
70 км/ч
?

Что, если мы знаем только скорость?
Какое расстояние проехала эта машина в течение 40 мин?
Расстояние – это
скорость* время
В следующем шаге нам надо уменьшить ошибку, делая наши отрезки все меньше и меньше
Время (t)
Скорость (v)
40 мин
70 км/ч
?

Что, если мы знаем только скорость?
Какое расстояние проехала эта машина в течение 40 мин?
Время (t)
Скорость (v)
40 мин
70 км/ч
?

Фундаментальная теорема интегрального и дифференциального исчисления

Зачем нам это?
Допустим, мы знаем, как распределена высота населения, то есть какой процент населения имеет какой рост в определенном интервале. Какая вероятность встретить случайно человека с ростом больше 195 см?
195 см
Распределение роста
Вероятность встретить человека с ростом больше 195 см

Повторение:
Матрицы и векторы

Векторы
Для анализа данных мы используем понятия из линейной алгебры
Мы не будем часто использовать эти методы в этом курсе, но они лежат в основании всей математики для машинного обучения
На прошлом курсе мы видели структуры для описания данных
Имя
Владимир
Иван
Сергей
...
Фамилия
Гончаров
Сикорски
Антонов
...
Возраст
42
76
24
...
Рост
172,6
184,2
192,1
...
Наблюдения
Features (свойства)
Data Frame

Векторы
Одно наблюдение имеет, например здесь, 4 свойства:
Имя
Фамилия
Возраст
Рост
Имя
Владимир
Иван
Сергей
...
Фамилия
Гончаров
Сикорски
Антонов
...
Возраст
42
76
24
...
Рост
172,6
184,2
192,1
...
Наблюдения
Features (свойства)
Data Frame

Векторы
Одно наблюдение имеет, например здесь, 4 свойства:
Имя
Фамилия
Возраст
Рост
Мы можем представить, что наблюдения живут в четырехмерном пространстве
Имя
Фамилия
Возраст
Рост
наблюдение

Векторы
Математически более правильно и проще представлять себе это, если каждое свойство число.
Вектор – это математический объект, характеризующийся величиной и направлением.
Типичный пример – это вектор скорости.
Скорость имеет направление и саму величину.
Вектор скорости
Координата z
Координата y
Координата x

Векторы
Вектор скорости
Координата z
Координата y
Координата x