Опыт реализации системы контентной фильтрации Интернет-ресурсов на базе технологий АРИОН

Принципы контентной фильтрации
1. Эффективная контентная фильтрация обеспечивается глубоким анализом текстового содержимого Интернет-ресурсов
2. Релевантный поиск и проблемный анализ содержимого Интернет-ресурсов должен выполняться специальным программно-аппаратным комплексом
3. Задача комплекса – формирование и «веерное» распространение базы данных запрещенных ресурсов для их последующего блокирования
4. Ресурсы, относящиеся к запрещенной тематике, должны быть классифицированы в соответствии с их информационной направленностью
5. Для каждой категории пользователи может задаваться свой перечень запрещенных классов ресурсов

Платформа – ИАС «АРИОН»

Ключевые технологии
1. Автономный поиск и автоматическая загрузка текстового содержания ресурсов Интернета
2. Фактографический разбор и тональный анализ текстов на естественном языке
3. Анализ и классификация ресурсов с использованием полнотекстового и фактографического режимов

Концептуальная схема

Аналитическая часть

Сбор информации - Краулер
Назначение
поиск в Интернете ресурсов по заданным критериям
Основные возможности
автономный переход по ссылкам
использование поисковых машин
извлечение текста из различных форматов: txt, html, rtf, doc, pdf
первичный анализ текстового содержимого (с помощью фильтров)

Сбор информации

Сбор информации

Назначение
анализ текстового содержания найденных ресурсов
Основные возможности
Полнотекстовый отбор
мощный язык запросов
учет морфологии
поддержка синонимов и опечаток
Фактографический анализ
графематический анализ
морфологический анализ
синтаксический анализ
логико-семантический анализ
Тональный анализ
Модуль индексирования

Индексирование

Индексирование

Индексирование

Назначение
автоматическое рубрицирование ресурсов на основании выполненного анализа
Способы рубрицирования
анализ характерных слов и выражений (полнотекстовый поиск).
анализ описываемых ситуаций (фактографический поиск)
анализ отношения автора текста к предмету (анализ тональности высказываний)
Модуль рубрикации

Запросы рубрикации

Рубрикация на основе
полнотекстового поиска

Рубрикация на основе
полнотекстового поиска

Запросы рубрикации

Рубрикация на основе фактографического поиска

Рубрикация на основе фактографического поиска

Рубрикация на основе фактографического поиска

Рубрикация на основе фактографического поиска

Рубрикация на основе фактографического поиска

Запросы рубрикации

Рубрикация на основе
тональности высказываний

Рубрикация на основе
тональности высказываний

Рубрикация на основе
тональности высказываний

Рубрикация на основе
тональности высказываний

Список запрещенных ресурсов
Формирование и выгрузка списка запрещенных ресурсов

Формирование списка запрещенных ресурсов

Формирование списка запрещенных ресурсов

Формирование списка запрещенных ресурсов

Заключение
Технологии ИАС «АРИОН» в рамках системы контентной фильтрации Интернет-ресурсов обеспечили решение следующих задач:
Сбор и загрузка текстового содержания искомых ресурсов Интернета
Анализ и классификация ресурсов с использованием полнотекстового и фактографического режимов
Тональный анализ текстов на естественном языке
Формирование списка запрещенных ресурсов