Разработка виртуального тренажера процесса пастеризации в среде Labview

Санкт-Петербург 2017
Разработка виртуального тренажера процесса пастеризации в среде Labview
Студент: Тишков И.В., Менщиков А.А.
Научный руководитель – д.т.н., профессор Гатчин Ю.А.

Цель работы. Проектирование и разработка системы противодействия парсингу веб-ресурса на основе комбинации технических подходов.
Актуальность выбранной темы обусловлена увеличением активности веб-роботов, при этом методы и механизмы защиты веб-роботов так же стремительно развиваются.

1. Любительский. Средства автоматизации не обладают достаточными механизмами противодействия обнаружению.
2. Профессиональный. Средства автоматизации содержат механизмы противодействия обнаружению.
3. Передовой. Данные средства автоматизации содержат самые передовые методы противодействия обнаружению.
Классификация веб-роботов

Бан по IP адресу
Использование учетных записей
Использование CAPTCHA
Использование сложной JavaScript логики
Динамическое изменение структуры страницы
Ограничение частоты запросов и объемов загружаемых данных
Отображение важных данных в виде изображенй
Методы обнаружения веб-роботов

Использование JavaScript логики

Создан прототип веб-ресурса, включающий в себя систему противодействия парсингу, содержащую совокупность методов от учетных записей до включения ловушек в содержимое веб-ресурса. Разработанный прототип системы противодействия автоматизированному сбору информации с веб-ресурсов показал отличные результаты, сделан вывод о применимости использования включенных в него методов, которые позволили полностью исключить деятельность веб-роботов на ресурсе. Далее планируется исследование работы и производительности данной системы на крупных веб-ресурсах.
Результаты