Методы интеллектуального анализа данных и некоторые их приложения

Содержание

Слайд 2

Эволюция технологий хранения и обработки данных

… — 1960-е:
Файлы и файловые архивы
1960-е:
Первые

Эволюция технологий хранения и обработки данных … — 1960-е: Файлы и файловые
СУБД, иерархические, сетевые и т.д.
1970-е:
Реляционная модель данных, реляционные СУБД
1980-е:
«Продвинутые» СУБД (объектно-реляционные и объектные, «расширенные» реляционные, дедуктивные и д.р.)
«Специализированные» СУБД (гео-,научные, инженерные и д.р.)
1990-е — …:
Мультимедийные БД, WWW, хранилища,
витрины данных,OLAP, Data Mining

Слайд 3

Актуальность и необходимость интеллектуального анализа данных

Проблема больших объемов («Data explosion»):
Средства

Актуальность и необходимость интеллектуального анализа данных Проблема больших объемов («Data explosion»): Средства
автоматического сбора данных, повсеместное внедрение СУБД, электронный документооборот, WWW, мультимедийные архивы и т.д. Все ведет к росту объемов и усложнению структуры хранимой информации.
Традиционные средства не справляются:
Информационный поиск и стат. анализ не везде помогают – много данных, сложная структура и нужно знать точно, что искать.
Вывод: много данных, но мало информации для аналитика.
Необходимо:
Разработка программных средств автоматизированного анализа данных большого объема и сложной структуры.

Слайд 4

Интеллектуальный анализ данных (Data Mining)

Системы интеллектуального анализа данных (ИАД) – класс программных систем

Интеллектуальный анализ данных (Data Mining) Системы интеллектуального анализа данных (ИАД) – класс
поддержки принятия решений, задачей которых является поиск скрытых, ранее неизвестных, содержательных и потенциально полезных закономерностей в больших объемах разнородных, сложно структурированных данных.
Han J., Kamber M. Data Mining: Concepts and Techniques // Morgan Kaufmann, 2000

Слайд 5

Процесс ИАД (1)

Анализ предметной области:
выявление и формулировка необходимых априорных знаний о предметной

Процесс ИАД (1) Анализ предметной области: выявление и формулировка необходимых априорных знаний
области, целей анализа, задач приложения, сценариев использования
Формирование и подготовка данных для анализа:
поиск (или выбор) «сырых» данных, возможно реализация подсистемы сбора (консолидации)
предобработка данных (нормализация, дискретизация, обработка пропущенных значений, удаление артефактов, проверка консистентности)
уменьшение размерности, выбор значимых характеристик, расчет интегральных показателей и инвариантов
Определение типа решаемой задачи анализа:
классификация, прогнозирование, кластеризация, поиск исключений, ассоциативный анализ и т.д.

Слайд 6

Процесс ИАД (2)

Выбор (или разработка) алгоритма анализа:
определение ограничений и требований к алгоритму

Процесс ИАД (2) Выбор (или разработка) алгоритма анализа: определение ограничений и требований
по точности, размеру, интерпретируемости, скорости построения и применения получаемых моделей, по типу исходных данных
Собственно «Data mining»:
применение выбранного алгоритма анализа для поиска закономерностей выбранного типа и построение моделей
Проверка моделей и представление результатов анализа:
визуализация, преобразование, удаление избыточности, оценка точности, достоверности моделей и т.д.
Применение построенных моделей:
Descriptive data mining - информирование аналитика, «описательные» модели, основная цель – визуализация
Predictive data mining – прогнозирование неизвестных значений или характеристик в «новых» данных с помощью построенных моделей , основная цель – прогноз

Слайд 7

Программные системы ИАД

Типовая архитектура:
Классификация систем ИАД:
По типу анализируемых данных
По типу решаемых задач
По

Программные системы ИАД Типовая архитектура: Классификация систем ИАД: По типу анализируемых данных
методам анализа и классам алгоритмов
По области применения

Слайд 8

Типы исходных данных (1)

Транзакционные базы данных и репозитории «событий»
Объекты анализа – «события»

Типы исходных данных (1) Транзакционные базы данных и репозитории «событий» Объекты анализа
различной структуры с числовыми и категориальными атрибутами, и с временной меткой
Реляционные и объектные СУБД
Объекты анализа сложным образом взаимосвязаны (заданно ER-схемой), имеют разнотипные атрибутами, наследование (расширение)
Многомерные OLAP-хранилища
Объекты анализа – срезы многомерно OLAP куба, т.е. набор числовых мер, при фиксированных значениях измерений
Временные ряды и числовые данные большого объема
Обработка результатов наблюдений, научных экспериментов, характеристик технологических процессов

Слайд 9

Типы исходных данных (2)

Географические и пространственные данные
Привязка к пространственным координатам, учет географии

Типы исходных данных (2) Географические и пространственные данные Привязка к пространственным координатам,
объектов при анализе (например при определении меры сходства или расстояния) , учет перемещения в пространстве (moving objects)
Символьные последовательности
ДНК цепочки, машинные коды, трассы выполнения процессов, тексты программ на ЯП
Электронные тексты на естественном языке
анализ содержимого документов, проблема представления, морфология
Гипертекстовые данные и WWW
структурированный текст на естественном языке, учет гиперссылок и нетекстового содержания
Мультимедия
Звук, видео, изображения

Слайд 10

Задачи ИАД = типы выявляемых закономерностей

Классификация («Обучение с учителем»)
Отнесение объектов к заранее

Задачи ИАД = типы выявляемых закономерностей Классификация («Обучение с учителем») Отнесение объектов
определенным категориям
Прогнозирование («Обучение с учителем»)
На основании известных значений атрибутов анализируемого объекта определяются значения неизвестных атрибутов
Ассоциации («Обучение без учителя»)
Выявление зависимостей между атрибутами
Кластеризация («Обучение без учителя»)
Выделение компактных подгрупп «похожих» объектов
Дискриминантный анализ («Обучение без учителя»)
Выявление атрибутов который «различают» (дискриминируют) две или более возникающие совокупности (группы)
Выявление исключений («Обучение с и без учителя»)
Поиск объектов, которые своими характеристиками значительно отличаются от остальных

Слайд 11

Методы анализа

Data Mining

Технологии
БД

Статистика
и теор. вер.

Другие
дисциплины

Теория
информации

Машинное
обучение

Визуализация

Методы анализа Data Mining Технологии БД Статистика и теор. вер. Другие дисциплины

Слайд 12

Область применения систем ИАД

Системы ИАД «общего назначения»
По сути включают framework, библиотеку алгоритмов

Область применения систем ИАД Системы ИАД «общего назначения» По сути включают framework,
анализа и набор программных средств для реализации ИАД процесса для широкого класса входных данных и прикладных задач
Примеры DataMiner, MS Analysis Services, Oracle BI, PolyAnalyst
Специализированные системы ИАД
Набор решаемых задач и алгоритмов решения, а также средств подготовки данных и визуализации результата ориентирован на конкретную предметную область
ИАД процесс максимально «автоматизирован», но конечным потребителем информации все равно является эксперт-аналитик
Области применения: маркетинг, анализ финансовых рисков, здравоохранение, страхование, кредитование, телекоммуникации, компьютерная безопасность, мониторинг оборудования и технологических процессов, антитерроризм, интернет и т.д.

Слайд 13

Отличия ИАД систем (1)

Наличие «обучения»
база знаний формируются на основе анализируемых данных, а

Отличия ИАД систем (1) Наличие «обучения» база знаний формируются на основе анализируемых
не экспертных знаний (в отличии от традиционных экспертных систем и систем информационного поиска)
структура модели и искомые зависимости заранее не известны (в отличии от статистических пакетов, ориентированных на расчет статистик, проверку гипотез и оценку параметров распределений)

Слайд 14

Отличия ИАД систем (2)

Наличие большого объема данных сложной структуры
зачастую скорость работы алгоритмов

Отличия ИАД систем (2) Наличие большого объема данных сложной структуры зачастую скорость
в ИАД важнее небольших отклонений по точности (“quick and dirty solution”)
большинство алгоритмов работают с исходными данными в виде числовой матрицы признаков, сложная структура реальных объектов в ИАД, приводит к необходимости решать задачу построения пространства характеристик и отображения в него свойств исходных объектов
перечисленные особенности отличают ИАД системы от традиционных систем машинного обучения, в которых как правило решается обратная задача – построение достоверной модели в условиях малой обучающей выборки

Слайд 15

Отличия ИАД систем (3)

Наличие человека - аналитика как оконечного потребителя результатов работы

Отличия ИАД систем (3) Наличие человека - аналитика как оконечного потребителя результатов
ИАД системы
в сценарии работы любой системы ИАД всегда присутствует аналитик, даже если полученная в результате модель далее используется для автоматической классификации
аналитик формирует тренировочные наборы, производит настройку алгоритмов, обучение и дообучение, анализирует полученные модели и принимает решения об их дальнейшем использовании
таким образом, системы автоматические классификации, кластеризации и распознавания образов, даже использующие возможность дообучения, не являются системами ИАД

Слайд 16

ИАД в проектах лаборатории «Технологий Программирования»

Компьютерная безопасность
Обнаружение внешних и внутренних вторжений
Моделирование

ИАД в проектах лаборатории «Технологий Программирования» Компьютерная безопасность Обнаружение внешних и внутренних
и анализ поведения пользователей
Электронный документооборот
анализ и фильтрация электронной почты и Web трафика
рубрикация и аннотирование электронных документов организации
Технологические процессы и производство
выявление нештатных ситуаций
прогнозирование качества продукции
Системы поддержки принятия решений
использование ИАД в ПО ситуационных центров

Слайд 17

ИАД в компьютерной безопасности

Цели компьютерной безопасности: обеспечение конфиденциальности, целостности и доступности данных
Вторжение

ИАД в компьютерной безопасности Цели компьютерной безопасности: обеспечение конфиденциальности, целостности и доступности
– действия программы или пользователя, направленные на нарушение целей компьютерной безопасности
Традиционные методы предотвращения вторжений (авторизация, разграничение прав доступа, криптозащита и т.д.) не справляются
Необходимо выявление вторжений

Слайд 18

Традиционные средства выявления вторжений

Основные концепции:
Используют базах сигнатур известных атак
Источники информации:

Традиционные средства выявления вторжений Основные концепции: Используют базах сигнатур известных атак Источники
системные журналы и файлы, содержимое сетевого трафика и файлов.
Недостатки:
Базы знаний формируются экспертами
Необходимо периодически обновлять
Существенная задержка во времени между появлением новой атаки и средств защиты от нее
Атаки постоянно видоизменяются
Есть методы «маскировки» атак

Слайд 19

Методы ИАД в задачах выявления вторжений

Основное предположение:
активность пользователей и программ можно

Методы ИАД в задачах выявления вторжений Основное предположение: активность пользователей и программ
полностью отследить и построить ее адекватную модель
Особенности:
накопление исторической информации
модели нормального поведение или вторжения
эффективные методы анализа,
которые проверяют текущую
активность в системе на
соответствие построенным моделям

Слайд 20

Обнаружение нарушений

Особенности:
Строится обобщенная модель атаки
Основано на методах классификации
Атакой считаются события или

Обнаружение нарушений Особенности: Строится обобщенная модель атаки Основано на методах классификации Атакой
последовательности событий, соответствующие модели
Основные проблемы:
«Обучение с учителем»: модель строится на примерах атак (необходимо их иметь и выделть из общей массы данных «вручную»)
Невозможно обнаруживать абсолютно новые или хорошо «замаскированные» атаки

Слайд 21

Обнаружение аномалий

Особенности :
Строится обобщенная модель нормальной активности пользователей или программ (профайл)
Основано на

Обнаружение аномалий Особенности : Строится обобщенная модель нормальной активности пользователей или программ
методах поиска исключений
Атакой считаются события или последовательности событий, несоответствующие модели
Основные проблемы:
Предположения («Обучение без учителя»):
обычные события отличаются от атак
атак не больше p% от всех тренировочных данных, где p мало или равно 0 (обычно p неизвестно)
Высокий уровень ошибок второго рода (false positive)

Слайд 22

Разработанные и реализованные алгоритмы

Обнаружение аномалий:
Оценка степени «типичности» событий и их последовательностей

Разработанные и реализованные алгоритмы Обнаружение аномалий: Оценка степени «типичности» событий и их
- нечеткая кластеризация в бесконечномерном пространстве характеристик.
Обнаружение нарушений:
Гибридный метод – Нечеткий SVM (Fuzzy Support Vector Machine) в сочетании с предыдущим методом
«Описательные» модели поведения пользователей:
Вероятностная модель поведения пользователя на основе деревьев решений и отображения множества ситуаций (последовательностей событий) в пространство характеристик с помощью потенциальных функций
Верификация:
На реальных данных и на эталонных тестовых наборах DARPA и др.

Слайд 23

Система мониторинга и анализа поведения пользователей

Функциональность:
Сбор и консолидация данных о работе пользователей
Статистический

Система мониторинга и анализа поведения пользователей Функциональность: Сбор и консолидация данных о
и интеллектуальный анализ
Построение и визуализация моделей поведения
Поиск аномалий в работе пользователей
Области применения:
Выявление инсайдеров и предотвращение утечек информации
Поиск и анализ последствий вторжений
Система «раннего предупреждения»
Анализ производительности и целевого использования пользователями вычислительных средств организации

Слайд 24

Архитектура системы мониторинга

Архитектура системы мониторинга

Слайд 25

Особенности реализации и результаты

Подсистема консолидации исходных данных:
Мульти-агентный подход
Нет ограничений на источники собираемых

Особенности реализации и результаты Подсистема консолидации исходных данных: Мульти-агентный подход Нет ограничений
данных
Универсальный интерфейс для работы с модулями сбора данных
Специализированный формат представления собранных данных
Специализированное отказоустойчивое высоко производительное хранилище данных на файловой системе
Специальная предобработка данных
Анализируемые факты:
Вход/выход в систему, запуск пользовательских и системных процессов, доступ к данным на любых носителях, активность пользователей в приложениях (клавиатура, мышь), входящий/исходящий сетевой трафик
Опытная эксплуатация:
В ряде коммерческих и государственных организаций прошло опытное внедрение

Слайд 26

Электронный документооборот

Интеллектуальная система анализа и фильтрации электронной почты масштаба предприятия
Система анализа и

Электронный документооборот Интеллектуальная система анализа и фильтрации электронной почты масштаба предприятия Система
много-темной классификации Web трафика
Интеллектуальная систему теневого копирования, рубрикации и аннотирования электронных документов организации

Слайд 27

Алгоритм классификации (на SVM):
векторная форма представления письма
высокая точность
эффективность по скорости
персональная модель классификации

Алгоритм классификации (на SVM): векторная форма представления письма высокая точность эффективность по
почты
Предобработка данных:
Снижение размерности исходного пространства (хи-квадрат и PCA)
Уменьшение размера тренировочного набора - кластеризация

ИАД для системы анализа и фильтрации электронной почты

Слайд 28

Архитектура системы фильтрации

Особенности реализации:
Учет ресурсоемкости алгоритмов на этапе обучения
Распределение и баланс

Архитектура системы фильтрации Особенности реализации: Учет ресурсоемкости алгоритмов на этапе обучения Распределение
нагрузки
Классификация в режиме реального времени
Возможность масштабирования
Возможность интеграции с различными почтовыми системами

Слайд 29

Результаты экспериментальной реализации и апробации

Почтовый сервер лаборатории «Технологий программирования»
эксплуатация с весны 2004
около

Результаты экспериментальной реализации и апробации Почтовый сервер лаборатории «Технологий программирования» эксплуатация с
1 тыс. писем в день (после RBL)
из них > 70% спам
уровень обнаружения более 95%
уровень ложно-положительных ошибок ~ 0.1%
Почтовый сервер факультета ВМиК, МГУ
эксплуатация с осени 2004

Слайд 30

Цели создания систем анализа и фильтрации Интернет-трафика
Блокирование доступа к нелегальной (экстремистской, антисоциальной,

Цели создания систем анализа и фильтрации Интернет-трафика Блокирование доступа к нелегальной (экстремистской,
террористической и т.п.) информации
Предотвращение использования Интернет-ресурсов в личных целях в рабочее и учебное время
Предотвращение утечки конфиденциальной информации (анализ исходящего трафика)

Слайд 31

Существующие системы фильтрации

Традиционный подход («сигнатурные» методы):
Использование при анализе Интернет-трафика специализированных, формируемых экспертами,

Существующие системы фильтрации Традиционный подход («сигнатурные» методы): Использование при анализе Интернет-трафика специализированных,
баз знаний, содержащих информацию об Интернет-ресурсах (URL, IP-адреса, ключевые слова)
Основные недостатки:
Ориентированы на ресурсы со статическим содержанием («черные списки» адресов)
Возможны ошибки при определении тематики
Результаты зависят от качества и оперативности обновления баз знаний
Отсутствует анализа исходящего трафика (нет возможности предотвращения утечки конфиденциальной информации)

Слайд 32

Анализ и фильтрация Интернет- трафика на основе методов ИАД

Основная идея:
Классификация потока гипертекстовой

Анализ и фильтрация Интернет- трафика на основе методов ИАД Основная идея: Классификация
информации в режиме реального времени с учетом содержания и структуры ссылок документов с использованием методов извлечения и применения знаний (алгоритмы машинного обучения и интеллектуального анализа данных).
Функционирование:
Администратор формирует тренировочный набор с известными тематиками (примеры гипертексовых документов, либо список Интернет-ресурсов, содержимое которых затем откачивает робот);
На тренировочном наборе методами машинного обучения строится классификатор, который затем используется Интернет-фильтром в режиме реального времени для анализа содержимого трафика.
На настоящий момент времени нет таких промышленных решений!

Слайд 33

Преимущества

Классификация в реальном времени статических и динамических интернет ресурсов;
Точность выше, чем у

Преимущества Классификация в реальном времени статических и динамических интернет ресурсов; Точность выше,
«сигнатурных» методов;
Автономность - независимость от внешних экспертов, поддержка собственной автоматически пополняемой базы знаний адресов;
Адаптируемость - возможность уточнения классификации при поступлении новых примеров;
Расширяемость - возможность добавлять новые категории и гибко настраивать политики фильтрации.

Слайд 34

Архитектура системы

Архитектура системы

Слайд 35

Основные результаты

Реализация системы:
Формализованы требования и сценарии взаимодействия
Спроектированы и реализованы базовые компоненты,

Основные результаты Реализация системы: Формализованы требования и сценарии взаимодействия Спроектированы и реализованы
их функционал, интерфейсы, алгоритмы работы
Разработана онтология представления информации об интернет ресурсах и алгоритмы работы с базой знаний
Разработан новый алгоритм много-темной классификации:
на основе модифицированного для существенно пересекающихся классов метода «попарных сравнений» с помощью набора бинарных классификаторов и отсечением нерелевантных классов
Предложена расширенная векторная модель представления гипертекстовых документов:
включает базовые текстовые и нетекстовые признаки, составные признаки (сгруппированные базовые) определяются с помощью метода поиска частых эпизодов
новый метод учета гиперссылок (не требует загрузки содержимого «окружения»)

Слайд 36

Интеллектуальная система анализа и мониторинга электронного документооборота организации

Драйвер ФС: определяет с какими

Интеллектуальная система анализа и мониторинга электронного документооборота организации Драйвер ФС: определяет с
файлами работал пользователь;
Служба теневого копирования: определяет как сильно изменился файл, при необходимости делает резервную копию, передает файл на обработку;
База знаний: хранение резервных копий файлов их аннотаций, служебной информации о кластерах и моделей аннотирования;
Управление очередью заданий: хранит очередь заданий на обработку, при освобождении ресурсов ВС выполняет задания из очереди;
Монитор ресурсов: анализирует загруженность ВС, разрешает выполнять задания из очереди;

Слайд 37

Модель аннотирования

Кластер документов – набор «схожих» документов;
Каждый документ кластера разбивается

Модель аннотирования Кластер документов – набор «схожих» документов; Каждый документ кластера разбивается
на фрагменты текста;
Каждый фрагмен текста преобразуется в частотный вектор «термов» (слов);

t1,1
t2,1

tm,1


t1,2
t2,2

tm,2





t1,n
t2,n

tm,n

m - фрагментов

n - термов

d1,1
d2,1

dm,1





d1,k
d2,k

dm,k

k1,1

kk,1




k1,n

kk,n

k - характеристик

k1,2

kk,2

n - термов

k - характеристик

T

D

K

T – исходная матрица фрагментов;
D – матрица фрагментов в пространстве «ключевых» характеристик;
К - матрица перехода, K-1 – модель аннотирования (строится для каждого кластера);

Слайд 38

Алгоритмы поиска ключевых характеристик

Латентно-семантический анализ (LSA - Latent Semantic Analysis): основан на

Алгоритмы поиска ключевых характеристик Латентно-семантический анализ (LSA - Latent Semantic Analysis): основан
использовании разложения исходной матрицы по сингулярным значениям (SVD - разложение)
Анализ независимых компонент (ICA - Independent component analysis): поиск линейных комбинаций наблюдаемых переменных ведется чтобы получить независимые случайные величины, распределение которых максимально далеко от нормального
Выделение частых эпизодов термов (Apriori):
Для выделенных фрагментов документов, строится список характерных частых эпизодов термов.

Слайд 39

Аннотирование новых документов

Для каждого документа определяется ближайший кластер и соответствующая ему

Аннотирование новых документов Для каждого документа определяется ближайший кластер и соответствующая ему
модель аннотирования;
Документ разбивается на фрагменты текста;
Каждый фрагмен текста преобразуется в частотный вектор «термов» ti;
Для каждого частотного вектора «термов» ti строится его проекция на пространство ключевых характеристик pi с помощью модели аннотирования K-1:
pi = ti * K-1; K * K-1 = E;
Вес фрагмента определяется как:
Аннотация – n фрагментов с максимальным весом;

Слайд 40

Архитектура ИАД системы анализа поведения технологических процессов

Особенности реализации:
выявление аномалий в характеристик ТП
функционирование

Архитектура ИАД системы анализа поведения технологических процессов Особенности реализации: выявление аномалий в
в промышленной среде
работа в режиме мягкого реального времени
расширяемость по набору методов анализа

Слайд 41

Выявление нештатных ситуаций

построение модели поведения ТП (на этапе обучения)
оценка отклонения текущего состояния

Выявление нештатных ситуаций построение модели поведения ТП (на этапе обучения) оценка отклонения
ТП от модельного
используются методы анализа временных рядов и последовательностей:
Класса «Гусеница» (Singular Spectrum Analysis)
Методы авторегрессии на основе SVR
Скрытые модели Маркова
и др.

Слайд 42

Анализ и прогнозирование качества ТП

Какие параметры производственного процесса влияют на качество продукции?

Quality

Анализ и прогнозирование качества ТП Какие параметры производственного процесса влияют на качество
= F(X1, … Xn),
где Xi — i-ая характеристика производственного процесса

Слайд 43

Результат

Разработаны алгоритмы:
на основе нечетких деревьев решений
с поддержкой эволюционных методов оптимизации

Результат Разработаны алгоритмы: на основе нечетких деревьев решений с поддержкой эволюционных методов
нечетких переменных и структуры правил
Реализована экспериментальная программная система:
строит модели зависимости качества продукции от характеристик производственного процесса, представимую в виде системы нечетких правил «если … то … иначе»;
прогнозирование ожидаемого качества изделия по характеристикам производственного процесса производится с достаточной точностью;
позволяет упорядочить характеристики технологического процесса по степени влияния на качество.

Слайд 44

Ситуационный центр

Основная задача СЦ — строить наглядные образы ситуаций, возникающих в предметной

Ситуационный центр Основная задача СЦ — строить наглядные образы ситуаций, возникающих в
области, на основе которых оперативный состав принимает управляющие решения.
в СЦ обязательно входит оперативный состав (коллектив потребителей наглядной информации), решающий некоторую совокупность задач, требующих принятия решений;
в СЦ создаются информационные модели и картины весьма сложных, комплексных, динамических ситуаций реального мира для представления оперативному состав.
Определение СЦ: это совокупность программно-технических средств, научно-математических методов и инженерных решений для автоматизации процессов отображения, моделирования, анализа ситуаций и управления.

Слайд 45

Место ИАД в процессе поддержки принятия решений в СЦ

ЛПР

Аналитик

Оператор

Принятие
решениий

Представление
результатов анализа

Data mining:

Место ИАД в процессе поддержки принятия решений в СЦ ЛПР Аналитик Оператор
выявление
зависимостей, обнаружение аномалий, прогноз развития ситуации

Стат. анализ, отчеты, запросы к хранилищу

Хранилища и витрины данных, OLAP
расчет интегральных показателей

Источники данных

Документы, файлы, отчеты, базы данных событий

Задачи:
Расчет индикаторов на основе данных предметной области
Определение тенденций и прогнозирование значений индикаторов
Выявление
аномалий в
значениях индикаторов

Слайд 46

Расчет и хранение индикаторов

Проведение статистического анализа и вычисление индикаторов, описывающих ситуацию

Расчет и хранение индикаторов Проведение статистического анализа и вычисление индикаторов, описывающих ситуацию

Слайд 47

Выявление аномалий в значениях индикаторов

Выявление аномалий в значениях индикаторов

Слайд 48

Определение тенденций и прогнозирование значений индикаторов

Определение тенденций и прогнозирование значений индикаторов

Слайд 49

Текущие результаты

Проектирование и создание рабочего места аналитика ситуационного центра мониторинга и анализа

Текущие результаты Проектирование и создание рабочего места аналитика ситуационного центра мониторинга и
ситуаций:
Просмотр ситуации по срезам OLAP-куба в виде сводной таблицы, диаграммы или отображения на карте
Просмотр результатов выявления аномалий
Просмотр результатов прогнозирования
Разработка и реализация специальных ИАД алгоритмов поиска аномалий и прогнозирования с учетом специфики данных – срезы OLAP куба.
Имя файла: Методы-интеллектуального-анализа-данных-и-некоторые-их-приложения.pptx
Количество просмотров: 194
Количество скачиваний: 0