Слайд 1

Описание слайда:

Введение в компьютерный и интеллектуальный анализ данных (ВКИАД) (Data Analysis, Data Analytics, Data Mining)

---

Слайд 2

Описание слайда:

Мультидисциплинарная областьМультидисциплинарная область 2

---

Слайд 3

Описание слайда:

3Цели курса • изучение теоретических основ предварительного (домодельного) статистического анализа данных • формирование навыков практического решения задач статистического анализа

---

Слайд 4

Описание слайда:

4(ВКИАД) Тема 1. Типы статистических данных и способы их первичной обработки

---

Слайд 5

Описание слайда:

5Литература • СтатистикаСтатистика : учебник / Под ред. И.И.Елисеевой. - М: Изд-во Проспект, 2009. • Локальная сеть БГУ: FPMI - STUD \ subfaculty \КТС\ Казаченок\ВКИАД

---

Слайд 6

Описание слайда:

6Развитие статистики • Др.Китай, др.Рим, Ср.век.Европа • Описательная статистика Г.Конринг (сер. XVII в., Германия) • Политическая арифметика В.Петти (сер. XVII в. , Англия) • Математическая статистика Кетле, Гальтон, Пирсон, Госсет, Фишер, Митчел ( XIX - XX в.)

---

Слайд 7

Описание слайда:

7Термин «статистика» • STATUS (лат.) – состояние дел • «Статистика» – (Готфрид Ахенваль, XVIII век) Современное значение : • Отрасль деятельности • Научная дисциплина • Цифровой материал

---

Слайд 8

Описание слайда:

8Статистика как… • Отрасль деятельности – Государственная статистика – Ведомственная статистика – Муниципальная статистика, … • Научная дисциплина – Описательная статистики – Экономическая статистика – Математическая статистика, …

---

Слайд 9

Описание слайда:

9Статистическое исследование Сбор первичной информации Сводка и обработка данных Анализ и интерпретация результатов Потребители статистических данныхОбъекты статистического наблюдения   

---

Слайд 10

Описание слайда:

10Категории статистики 1 Статистическая совокупность 2 Единица совокупности 3 Признак 4 Статистический показатель 5 Система статистических показателей

---

Слайд 11

Описание слайда:

11Методы статистики • Статистическое наблюдение • Метод группировок • Метод статистических показателей

---

Слайд 12

Описание слайда:

12Статистическая совокупность - совокупность изучаемых социально-экономических объектов или явлений, имеющих общую качественную основу, но отличающихся друг от друга отдельными признаками.

---

Слайд 13

Описание слайда:

13Единица совокупности - первичный элемент статистической совокупности, являющийся носителем признаков, подлежащих регистрации. – Единица совокупности рассматривается как неделимый элемент

---

Слайд 14

Описание слайда:

14Признак - показатель, характеризующий индивидуальную особенность единицы совокупности, рассматриваемый как случайная величина – Значение признака - измеренный индивидуальный показатель

---

Слайд 15

Описание слайда:

15Классификация признаков По типу значений (измерений) Признаки Количественные Атрибутивные (качественные) Дискретные Непрерывные Многозначные Альтернативные

---

Слайд 16

Описание слайда:

16Типовые измерительные шкалы Тип шкалы Качественные (атрибутивные) • Шкала наименований • Порядковая шкала Количественные • Интервальная шкала • Шкала отношений

---

Слайд 17

Описание слайда:

17Шкала наименований = номинальная = классификационная Примеры: • имя, пол, семейство, класс, номер игрока … Обработка таблиц наблюдений: • Неупорядоченный список класса эквивалентных объектов

---

Слайд 18

Описание слайда:

18Порядковая шкала = ранговая = ординальная Примеры: • ранг служащего, балльные шкалы (сила ветра, оценка на экзамене, магнитуда землетрясения, твердость минерала) … Обработка таблиц наблюдений: • Упорядочение объектов • Ранг (порядковый номер) объекта

---

Слайд 19

Описание слайда:

19Интервальная шкала = шкала разностей Примеры: • температура o C , o F, летоисчисление , высота над уровнем моря … Обработка таблиц наблюдений: • Взятие интервалов – разностей

---

Слайд 20

Описание слайда:

20Шкала отношений = метрическая Примеры: • длина, высота, вес, скорость, светимость … Обработка таблиц наблюдений: • Арифметические операции 

---

Слайд 21

Описание слайда:

21Статистический показатель - количественно-качественная обобщающая характеристика какого- либо свойства группы (части) единиц совокупности или совокупности в целом - Стат.данные – совокупность значений стат.показателей

---

Слайд 22

Описание слайда:

22Типы показателей • Первичные (объемные) • Вторичные (производные) • Индивидуальные (единичные) • Сводные (групповые, суммарные)

---

Слайд 23

Описание слайда:

23Система статистических показателей - совокупность взаимосвязанных показателей, отражающая существующие между явлениями взаимосвязи • Сист. стат. показателей фиксирует: – Множество показателей – Классификацию единиц

---

Слайд 24

Описание слайда:

Статистическое наблюдение • Определение • Формы и виды • Программа • Точность наблюдения 

---

Слайд 25

Описание слайда:

25Статистическое наблюдение - планомерный, научно организованный сбор информации о массовых общественных явлениях путем регистрации заранее намеченных признаков с целью получения обобщающих характеристик

---

Слайд 26

Описание слайда:

26Виды стат. наблюдения По охвату единиц совокупности : • Сплошное : все единицы • Несплошное : часть единиц – Метод основного массива : наиболее «крупные» единицы – Выборочное : механический или случайный отбор единиц

---

Слайд 27

Описание слайда:

27Выборочный метод • Генеральная совокупность (исследуемая стат. совокупность) • Выборочная совокупность (отобранные единицы, «выборка») – Представительность выборки ( репрезентативностьрепрезентативность ) - близость свойств генеральной и выборочной совокупностей

---

Слайд 28

Описание слайда:

28Формирование выборки 1 Выясняется состав совокупности ( N ) 2 Определяется объем выборки ( n ) 3 Осуществляется отбор: – Индивидуальный • Механический • Случайный • и т.д.

---

Слайд 29

Описание слайда:

29Механический отбор - отбор каждойкаждой ( N/n )-ой единицы k i = k 1 + [ (i-1) N/n ] i=1..n

---

Слайд 30

Описание слайда:

Точность наблюдения Статистическое наблюдение

---

Слайд 31

Описание слайда:

31Ошибки (погрешности) - различия между показателями выборочной и генеральной совокупностей Измеряется с помощью – Абсолютная ошибка (разность) – Относительная ошибка (отношение , % )

---

Слайд 32

Описание слайда:

32Ошибки выборки Оценка Число студентов Ген.совок Выборка 1 Выборка 2 2 3 4 5 100 300 520 80 9 27 54 10 12 29 52 7 1000 100 100Итого 3,58 3,65 3,54Среднее 0,6 0,64 0,59Доля «4 и 5»

---

Слайд 33

Описание слайда:

33Ряды динамики Ряды динамики – статистические данные , отображающие развитие во времени изучаемого явления. Их также называют динамическими рядами , временными рядами . Год 2009 2010 2011 2012 2013 2014 201 5 Произво дство 30,1 34,9 44,3 27,0 31,0 34,5 47,0 Пример. Пример. Производство изделий «А» в 2009-2015гг.Производство изделий «А» в 2009-2015гг.

---

Слайд 34

Описание слайда:

34Вариационный ряд Если ряд распределения построен по количественному признаку, то такой ряд называют вариационным. Построить вариационный ряд - значит упорядочит ь количественное распределение единиц совокупности по значениям признака, а затем подсчитать числа единиц совокупности с этими значениями (построить групповую таблицу).

---

Слайд 35

Описание слайда:

35 Пример вариационных рядов Пример 1. В магазине продана мужская обувь следующих размеров: 38, 41, 41, 38, 43, 39, 39, 42, 42, 39, 42, 39, 40, 40, 40, 39, 39. Дискретный вариационный ряд: 2 6 3Кол-во пар 38-39 40-41 42-43Размеры обуви 8 5 43Кол-во парРазмер обуви 38 1414039 32 Интервальный вариационный ряд: 4342

---

Слайд 36

Описание слайда:

36Атрибутивный ряд Если за основу группировки взят качественный признак, то такой ряд распределения называют атрибутивным (распределение по видам труда, по полу, по профессии, по религиозному признаку, национальной принадлежности и т.д.).

---

Слайд 37

Описание слайда:

37 Пример атрибутивного ряда 130ИТОГО 100Образование рабочих Высшее Неполное высшее Среднее специальное Среднее Количество рабочих абсолютное 20 25 35 50 в % 15,4 19,2 26,9 38,5 Пример атрибутивного ряда

---

Слайд 38

Описание слайда:

38Статистическая группировка Формально-математический способ предполагает использование формулы Стерджесса: k = 1 + [ loglog 2 nn ] где k — число групп; n — число единиц совокупности.

---

Слайд 39

Описание слайда:

39 Применение группировки (шаг 1) Пример 2. Построить интервальный вариационный ряд распределения по первичным данным о размере прибыли 20 коммерческих банков за год (млрд. руб.) 3.7 4.3 6.7 5.6 5.1 8.1 4.6 5.7 6.4 5.9 5.2 6.2 6.3 7.2 7.9 5.8 4.9 7.6 7.0 6.9 1. Упорядочиваем ряд: 3.7 3 . 7 4.6 4.9 5.1 5.2 5.6 5.7 5.8 5.9 6.2 6.3 6.4 6.7 6.9 7.0 7.2 7.6 7.9 8.1 РЕШЕНИЕ (6 шагов)

---

Слайд 40

Описание слайда:

40 Применение группировки (шаги 2-4) 3. Вычисляем количество групп: k = 1 + [ loglog 2 2020 ] = 5 4. Вычисляем величину интервала: H = R / k = 4.4 / 5= 0.88 ~ 0.9 R = X max – X– X min == 8.1 –– 3.7 = 4.42. Вычисляем размах:

---

Слайд 41

Описание слайда:

41 Применение группировки (шаги 5-6) 6. Подсчитаем количество вариант, попавших в каждый интервал, и запишем в таблицу: [3.7;4.6), [4.6;5.5), [5.5;6.4), [6.4;7.3), [7.3;8.2]5 . Вычисляем границы интервалов: X i ( размер прибыли ) [3.7;4.6) [4.6;5.5) [5.5;6.4) [6.4;7.3) [7.3;8.2 ] m i (кол- во банков) 2 4 6 5 3

---

Слайд 42

Описание слайда:

42 Непараметрическое описание распределений

---

Слайд 43

Описание слайда:

43 Пример: Взвешиваем N кроликов

---

Слайд 44

Описание слайда:

44Пример: Упорядочение кроликов 1. Упорядочим кроликов по возрастанию веса (значения переменной); 2. Разобьём их на группы по равным интервалам веса.

---

Слайд 45

Описание слайда:

Масса кролика, кгЧ а с то таГистограмма – графическое представление частотного распределения, разбитого по интервалам, где высота столбика отражает ЧАСТОТУ Частотное распределение переменной (Плотность распределения вероятностей ?) Частота – то, сколько раз встретилось данное значение переменной Интервалы должны быть одного размера.

---

Слайд 46

Описание слайда:

Другой пример гистограммы Для интервальных вариационных рядов

---

Слайд 47

Описание слайда:

Три ОСНОВНЫЕ ХАРАКТЕРИСТИКИ : 1. « Середина » распределения; 2. « Ширина » распределения; 3. Форма распределенияОписание частотного распределения Это относится не только к количественным данным, но и к качественным

---

Слайд 48

Описание слайда:

« Середина » Мода (mode)Медиана (median)Среднее значение (mean) Все значения могут служить оценками. Среднее значение в выборке – наиболее эффективная оценка.Варианты «Середины» распределения

---

Слайд 49

Описание слайда:

Медиана (квартиль?) Медиана – значение, которое делит распределение пополам ( его площадь в т.ч .): половина значений больше медианы, половина – не больше . 1,0 3,2 3,2 5,7 9 ,56 ,0 7 ,1 7,9 10,4 11,0 Медиана Имеет смысл не только для количественных переменных, но и для ранговых ! ( не для качественных ).3,2

---

Слайд 50

Описание слайда:

Медиана 1 Если дискретный ряд содержит нечетное количество вариант, то находится та единственная варианта, справа и слева от которой находится одинаковое число вариант:

---

Слайд 51

Описание слайда:

Медиана 2 Если дискретный ряд содержит четное количество вариант, то находятся две варианты, справа и слева от которых располагается одинаковое количество вариант. Ме равна средней арифметической из двух значений:

---

Слайд 52

Описание слайда:

Квартиль 1 Квартиль 3 медианаЧ а с т о т а Значение переменной25%25% 25%25% 25%25% 25%25%123456 Квартиль

---

Слайд 53

Описание слайда:

Интерквартильный размах Квартили ( quartiles ) делят распределение на четыре части так, что в каждой из них оказывается поровну значений (2-я квартиль = медиана). 1-я квартиль = 25% процентиль 3-я квартиль = 75% процентиль Интерквартильный размах – разность между третьей и первой квартилями.

---

Слайд 54

Описание слайда:

Распределение можно поделить не только на ДВЕ равные части, но и на:  ЧЕТЫРЕ (значения, стоящие на границах - квартили);  ВОСЕМЬ (... октили);  СТО (... процентили);  N (квантили порядка 1/ N ).Деление распределения на части

---

Слайд 55

Описание слайда:

Процентили, пример 95% процентиль – значение переменной, левее которого находится 95% значений переменной 95%

---

Слайд 56

Описание слайда:

Мода – наиболее часто встречающееся значение Мода Существует не только для количественных , но и для ранговых , и для качественных переменных Мода может быть не единственной

---

Слайд 57

Описание слайда:

Мода Мода — это варианта, которая имеет наибольшую частоту. Она соответствует определенному значению признака. Соглашения о существовании моды: Если все варианты наблюдаются с одинаковой частотой, то говорят, что вариационный ряд не имеет моды . Если две или более соседние варианты имеют наибольшие частоты, равные между собой, то мода равна средней арифметической этих вариант. Если равные варианты, имеющие наибольшие частоты, расположены не по соседству , то принято говорить, что признак имеет две и более моды (бимодальный, полимодальный признаки и т.д.)

---

Слайд 58

Описание слайда:

Пример полигона частот Для дискретных вариационных рядов

---

Слайд 59

Описание слайда:

Пример данных для кумуляты

---

Слайд 60

Описание слайда:

Пример кумуляты (Функция распределения вероятностей ?) Для дискретных и интервальных вариационных рядов

---

Слайд 61

Описание слайда:

Пример: «Середина» распределения Мода, медиана и среднее СОВПАДАЮТ для симметричного унимодального распределения ЗАРПЛА ТА, $ ЧАСТО ТА 200 000 1 20 000 1 19 000 1 14 000 3

---

Слайд 62

Описание слайда:

Пример: «Середина» распределения Мода, медиана и среднее СОВПАДАЮТ для симметричного унимодального распределения К появлению перекоса чувствительнее всего среднее значениеЗАРПЛА ТА, $ ЧАСТО ТА 14 000 1 14 000 1 14 000 1 19 000 1 20 000 1 200 000 1 = 14 000 = 46 833= 16 500 14 000 46 833 16 500

---

Слайд 63

Описание слайда:

В чём ошибка?

---