Платформа мониторинга и анализа социальных медиа Крибрум

.
Архитектура платформы Крибрум

.
Размещение в контуре Заказчика

ПЛАН
Социальные сети, основные понятия, особенности сбора.
Общие сведения об архитектуре платформы, взаимодействие основных компонент
Обзор систем Платформы Крибрум

Социальные сети, основные понятия, особенности сбора

Автор – это пользователь от имени, которого, опубликовано сообщение на интернет ресурсе (площадке мониторинга);
Источник сообщения – это площадка мониторинга, на которой обнаружено релевантное сообщение по отношению к объекту мониторинга;
Оригинал - сообщение, опубликованное первым в ряду одинаковых или частично повторяющих;
Перепечатки - ряд одинаковых или частично повторяющих друг друга сообщений;
Основные термины

Площадки мониторинга – это веб-сайты, которые включены в мониторинг, то есть отслеживаются Системой на предмет появления там сообщений, содержащих упоминания объектов мониторинга;
Система – система автоматизированного сбора и анализа социальных медиа;
Сообщение – это отдельная текстовая публикация в Интернете, содержащая осмысленное упоминание объекта мониторинга на одной из площадок мониторинга. Сообщение может иметь вид записи, комментария, поста, новости, заметки, статьи, рецензии в блоге, микроблоге, социальной сети, форуме, онлайн-СМИ, интернет-магазине или другом виде информационных Интернет-ресурсов и социальных медиа;
Спайдер - программа, часть поисковой системы. Она перебирает страницы Интернета и собирает информацию о них в виде документов.
Основные термины

Объект – это уникально поименованные персона, событие, название компании, название услуги, проекта (акции), географического объекта, природного явления. В понятие «объект» входят все синонимы и виды написания.
Примеры:
o «Ростелеком, Rostelecom, ростелек, Ростелик» и т.д.;
o «Путин, Президент, Владимир Владимирович», и т.д.;
o «Самара»;
o «Митинг 3 июня.
Основные термины

Группа объектов – совокупность объектов одного структурного уровня, относящихся к одной сфере или тематике.
Примеры:
o Банки (Сбербанк, ВТБ, Открытие, ПСБ и т.д.);
o Страховые компании (Росгосстрах, Альфа Страхование и т.д.);
o Преподаватели ВШЭ (Иванов, Петрова и т.д.);
o Митинги 2020 (Митинг 3 августа, митинг 15 сентября и т.д.);
o Проекты Яндекс (Яндекс.Лавка, Яндекс.Такси и т.д.).
Основные термины

Тема – определенная сфера жизнедеятельности общества, государства, компании, социальной группы. Для мониторинга темы разрабатывается специализированная лингвосемантическая модель, а также архитектура проекта, включающая десятки/сотни объектов, тегов, категорий.
Примеры:
o ЖКХ (тарифы, льготы, изменения в законодательстве и т.д.);
o Медицина (медицинские учреждения, проекты, новые медицинские услуги и т.д.);
o Высшее образование (вузы, льготы, руководители учебных заведений, государственная поддержка, отзывы об общежитиях и т.д.);
o Сфера страхования (страховые компании, тарифы, условия, отзывы о страховых агентах и т.д.).
Основные термины

Направление – совокупность социальных проявлений человеческой активности, имеющих определенный характер и преследующих заранее заданные цели. Для изучения направления привлекаются эксперты, разрабатываются методики анализа инфополя, затем лингвосемантические модели по темам, составляющим направление.
Примеры:
o Экстремизм (националисты, антифа, исламский фундаментализм, секты и т.д.);
o Протестная активность (протесты, пикеты, лидеры протестного движения, виды протестов по темам и т.д.);
o Деструктив в молодежной среде (девиантные молодежные сообщества, субкульутры, асоциальные и деструктивные практики, кумиры и лидеры мнений и т.д.).
Основные термины

ПЛАТФОРМА КРИБРУМ
Крибрум – это Платформа потокового многофакторного анализа социальных медиа в режиме реального времени.
На базе Платформы Крибрум разработано нескольких систем и модулей.
.
Системы Платформы Крибрум:
Поиск данных
в социальных сетях и интернет-СМИ
Автоматический
социально-психологический анализ поведения аккаунта
и его связей
Анализ информационного потока по заданным направлениям и объектам
Анализ и визуализация распространения информации и событий в соц. сетях

ПЛАТФОРМА КРИБРУМ
Мониторим все виды социальных медиа
Храним всю информацию с 2014 года
Объём ретроспективной базы данных — 3 петабайта
140 млн.
60 млн.
500 млн.
текстовых сообщений
изображений
действий
КАЖДЫЙ ДЕНЬ

Анализируем все виды контента: посты, комментарии, ссылки, шеры, лайки, теги, подписи и т.д.
Разрабатываем экспертные модели для анализа данных и прогнозирования событий в реальной жизни.
Применяем весь спектр современных собственных технологий:
искусственный интеллект,
машинное обучение,
нейронные сети,
поисковые технологии,
лингвистические технологии,
анализ больших данных.
ПЛАТФОРМА КРИБРУМ

.
ПЛАТФОРМА КРИБРУМ

.
АНАЛИТИЧЕСКИЙ ЦЕНТР КРИБРУМ
Осуществляет анализ тенденций, рисков, новых угроз, социальной температуры и общественного мнения на основе полученных данных
Разрабатывает модели для прогнозирования событий в реальной жизни: митинги, протесты, кампании в СМИ, распространение поддельных новостей
Применяет более 500 сложных социально-психологических моделей для анализа пользователей социальных сетей и прогнозирования реальных событий
Объединяет программистов, аналитиков, специалистов в области прикладной лингвистики, политологов, социологов и поведенческих психологов

Общие сведения об архитектуре платформы, взаимодействие основных компонент

.
Архитектура платформы Крибрум

Событие представляет собой некоторое произошедшее событие, привязанное к конкретному аккаунту внутри системы Крибрум. События имеют следующие свойства:
Событие максимально атомарно. Если возможно логически разделить некоторое событие на несколько отдельных, то либо оно должно быть разделено, либо эти более атомарные события уже должны физически существовать.
Событие всегда иммутабельно. Раз попавшее в систему событие не бывает изменено, а событие, записанное в кластер, остаётся там навечно в оригинальном виде (не удаляется и не модифицируется).
Определение событий и типов событий

event::post
event::comment
event::share
event::profile_field_work
event::like
event::follow
Примеры событий
Структура событий
(account_id, timestamp, event)
account_id — ext_id автора в системе: например,
[email protected]
.
publication_time — когда произошло событие вне системы.
create_time — время создания события внутри системы.
event — одно из конкретных событий.

DML представляет собой один или более шаблонов, которые могут быть произвольно сгруппированы между собой.
Шаблон представляет собой:
Заданное описание структуры некоторого события
Опциональное ограничение: булевая формула, в которой участвуют только связанные переменные, логические операторы и простые функции.
Шаблоны могут быть сгруппированы одним из следующих двух вариантов.
Группой, в которой для срабатывания правила всем поданным на вход событиям должны быть успешно сопоставлены все шаблоны в группе (группировка по "И")
Группой, в которой для срабатывания правила должен быть успешно сопоставлен хотя бы один шаблон (группировка по "ИЛИ")
Группировки могут быть вложенными.
Data Mining Language (DML)

Схема организации полнотекстового поиска

Особенности:
Полнотекстовый и атрибутивный поиск
Поддержка английского, китайского и других языков
Индексация в реальном времени
Линейное масштабирование
Продвинутый язык поисковых запросов
Fort-Morgan t4 Search Engine
Язык поисковых запросов:
word1 word2 – слова запроса в любой словоформе в любом порядке на небольшом расстоянии друг от друга
“word1 word2” – фиксируются словоформы и порядок слов
(word1 word2)/2 – расстояние не больше 2 слов
(word1 word2)! – фиксируется порядок слов
(word1 word2)/* - любое расстояние
word1 (word2|word3) – альтернатива
word1 –word2 - отрицание
(word1 word2) –((word3 word4)/4|”word5”) – комбинирование

Обзор систем Платформы Крибрум

«Крибрум. Публичный поиск»
Предназначена для поиска информации внутри текстов, написанных в социальных медиа.

«Крибрум. Публичный поиск»
Реализует функции:
сбора информации с сайтов и платформ социальных сетей в сети Интернет;
индексирования, обеспечивающую быстрый поиск
по накопленной информации.
Позволяют легко находить нужную информацию в социальных медиа.

«Крибрум. Объекты»
Предназначена для постоянного оперативного сбора и анализа текстовых сообщений.

Реализует функции:
мониторинг социальных медиа;
сбор, хранение и обработка сообщений;
автоматическое определение тональности;
присвоение сообщению тематики, категорий, тегов, географии, т.д.;
составление графиков и диаграмм для дальнейшего анализа;
распознавание первоисточников и дублей.
Позволяют проводить анализ сообщений по объекту поиска, определять эмоциональное отношение к нему, сортировать полученные данные наиболее оптимальным образом.
«Крибрум. Объекты»

«Крибрум. Зеркало»
Предназначена для автоматизированного анализа действий, связей и признаков риска в поведении аккаунтов пользователей социальных сетей.

«Крибрум. Зеркало»
Реализует следующие функции:
анализ поведения аккаунта,
автоматическое формирование портрета и графа реальных связей;
анализ окружения аккаунта (по графу реальных связей);
групповой анализ;
автоматическое выявление наличие признаков риска
в поведении аккаунта ;
выявление аккаунтов по заранее описанному паттерну поведения.
Позволяют проводить анализ поведения аккаунтов пользователей социальных сетей, выявлять наличие признаков риска в поведении аккаунтов и сортировать полученные данные наиболее оптимальным образом.

«Крибрум. Сигнал»
Предназначена для определения источников и путей распространения информации в социальных сетях.
Позволяют анализировать характер распространения информации в социальных медиа, определять основные узлы распространения информации, естественный или искусственный характер распространения.

«Крибрум. Сигнал»
Реализует функции:
поиска информации в хранилище данных Крибрум;
определение первоисточников информации и цепочек ее распространения;
визуализации характера распространения информации в социальных сетях.