Две стороны медали: сбор информации с сайтов и защита от него Дмитрий Сизиков программист Байкальский Интернет Форум Иркутск, 19 ав

Две стороны медали:
сбор информации с сайтов
и защита от него
Дмитрий Сизиков
программист
Байкальский Интернет Форум
Иркутск, 19 августа 2011 г.

Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.
Две стороны медали:
сбор информации с сайтов и защита от него
К нашему сайту постоянно обращаются боты

Две стороны медали:
сбор информации с сайтов и защита от него
?
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.
Зачем они приходят?

Две стороны медали:
сбор информации с сайтов и защита от него
Нагрузка Бесконтрольное распространение вашего контента
Замусоривание
Проблемы с поисковыми системами
Подрыв доверия пользователей
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.
Что в этом плохого?

Есть ли плюсы?
Две стороны медали:
сбор информации с сайтов и защита от него
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.

Две стороны медали:
сбор информации с сайтов и защита от него
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.
Как можно использовать
полученную информацию?

Две стороны медали:
сбор информации с сайтов и защита от него
Полной защиты не существует
Сделать сбор данных нерентабельным
Комплексный подход к проблеме
Набор методов защиты зависит от конкретной задачи
Пользовательские данные прежде всего
Не навреди клиенту
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.
Основные принципы защиты

Метод первый.
Балльно-рейтинговая система
Две стороны медали:
сбор информации с сайтов и защита от него
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.

Две стороны медали:
сбор информации с сайтов и защита от него
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.
Метод второй.
Ограничение скорости выдачи страниц,
подсчет времени работы со страницей

Две стороны медали:
сбор информации с сайтов и защита от него
JavaScript-ловушки Визуальные ловушки
Скрытые поля
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.
Метод третий. Ловушки

Две стороны медали:
сбор информации с сайтов и защита от него
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.
Метод четвертый.
Материал на сайт при приходе хороших ботов

Две стороны медали:
сбор информации с сайтов и защита от него
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.
Метод пятый.
Анализ загрузки стилей и картинок

Две стороны медали:
сбор информации с сайтов и защита от него
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.
Метод шестой. Замусоривание контента

Две стороны медали:
сбор информации с сайтов и защита от него
Клики Движение мышкой
и т. д.
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.
Метод седьмой.
Анализ действий пользователя на сайте

Две стороны медали:
сбор информации с сайтов и защита от него
Однотипные комментарии
Множество ссылок
Карма пользователя
И т. д.
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.
Метод восьмой.
Анализ контента, генерируемого пользователем

Две стороны медали:
сбор информации с сайтов и защита от него
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.
Метод девятый. Captcha

Две стороны медали:
сбор информации с сайтов и защита от него
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.
Метод десятый. Обман бота

100% метод защиты вашего контента:
Не показывайте его никому :]
Две стороны медали: сбор информации с сайтов и защита от него
Байкальский Интернет Форум, Иркутск, 19 августа 2011 г.