Содержание
- 2. Основные этапы подготовки данных Загрузка данных в хранилища Разделение данных Приведение данных к одинаковым единицам измерения
- 3. Анализ данных. Подготовка данных Загрузка данных в хранилища Кафедра информационно-аналитических систем Как правило, в системах хранения
- 4. Анализ данных. Подготовка данных Разделение данных Кафедра информационно-аналитических систем Простой пример задачи, с которой сталкиваются многие
- 5. Анализ данных. Подготовка данных Данные, также требующие разделения… Кафедра информационно-аналитических систем
- 6. Пример (разнообразие имен из реального хранилища) Анализ данных. Подготовка данных Кафедра информационно-аналитических систем
- 7. Анализ данных. Подготовка данных Кафедра информационно-аналитических систем Преобразование данных к одинаковым единицам измерения Еще один важный
- 8. Анализ данных. Подготовка данных Кафедра информационно-аналитических систем Пример преобразование данных к одинаковым единицам измерения
- 9. Преобразование к унифицированной лексике Анализ данных. Подготовка данных Кафедра информационно-аналитических систем Одной из самых трудоемких задач
- 10. Анализ данных. Подготовка данных Кафедра информационно-аналитических систем Пример преобразования к унифицированной лексике
- 11. Анализ данных. Подготовка данных Объединение данных из разных источников Кафедра информационно-аналитических систем
- 12. Анализ данных. Подготовка данных Объединение данных из разных источников. Вариант 1 Кафедра информационно-аналитических систем
- 13. Анализ данных. Подготовка данных Объединение данных из разных источников. Вариант 2 Кафедра информационно-аналитических систем
- 14. Анализ данных. Подготовка данных Соединение данных из разных источников Первая проблема – соответствие полей. Так же,
- 15. Анализ данных. Подготовка данных Пример соединения данных из разных источников Кафедра информационно-аналитических систем
- 16. Заполнение отсутствующих численных значений Анализ данных. Подготовка данных Кафедра информационно-аналитических систем Одна из самых раздражающих проблем
- 17. Аппроксимация пропущенных значений В большинстве случаев (особенно во временных рядах) аппроксимация пропущенных значений осуществляется за счет
- 18. Пример (пропущенные значения) Анализ данных. Подготовка данных Кафедра информационно-аналитических систем
- 19. Очистка данных Анализ данных. Подготовка данных Кафедра информационно-аналитических систем Как правило, очистка данных может быть сведена
- 20. Сочетание полей Для проверки данных можно также использовать сочетание полей. Иногда это действительно необходимо, потому что
- 21. Сравнение с образцом/Регулярные выражения Другой тип проверки данных, включает в себя сравнение с образцом. Такой вид
- 22. Устранение дубликатов Одна из проблем, решаемая на этапе очистки данных, это устранение дубликатов. Дубликаты могут появляться
- 23. Контроль диапазонов Анализ данных. Подготовка данных Кафедра информационно-аналитических систем Контроль диапазонов − это на первый взгляд
- 24. Пример (контроль диапазонов) Анализ данных. Подготовка данных Кафедра информационно-аналитических систем Вот как выглядят первые строки отсортированной
- 25. Анализ данных. Подготовка данных Контроль диапазонов Кафедра информационно-аналитических систем В примере с оценками визуального анализа вполне
- 26. Анализ данных. Подготовка данных Дисперсия Кафедра информационно-аналитических систем Дисперсия выборки – среднее арифметическое квадратов отклонений значений
- 27. Пример (вычисление дисперсии) Анализ данных. Подготовка данных Кафедра информационно-аналитических систем
- 28. Стандартное отклонение Анализ данных. Подготовка данных Кафедра информационно-аналитических систем Стандартное отклонение вычисляется как корень квадратный из
- 29. Неравенство Чебышева Анализ данных. Подготовка данных Кафедра информационно-аналитических систем Для интерпретации стандартного отклонения используют неравенство Чебышева.
- 30. Интерпретация стандартного отклонения Анализ данных. Подготовка данных Кафедра информационно-аналитических систем Можно утверждать, что интервал с границами
- 31. Интерпретация стандартного отклонения Анализ данных. Подготовка данных Кафедра информационно-аналитических систем В математической статистике доказывают что….
- 32. Для нормального распределения данных… Анализ данных. Подготовка данных Кафедра информационно-аналитических систем
- 33. Контроль диапазонов (итоги) Для определения выбросов используется понятие стандартного отклонения. Как правило – достаточно коэффициента k
- 34. Основные этапы подготовки данных – подведем итог Загрузка данных в хранилища Разделение данных Приведение данных к
- 35. Анализ данных. Подготовка данных Рассчитайте дисперсию, стандартное отклонение, а затем определите выбросы в одном из своих
- 37. Скачать презентацию