СЁРЧ. Автоматическая система рекомендаций и подбора контента

Постановка проблемы
В современном мире социальные сети играют важную роль. Они позволяют пользователям получать любую информацию
невозможно
Но ориентироваться в этом потоке почти

Насколько Вам сложно найти интересную группу ВКонтакте?

Цели и задачи
Создание сервиса, который поможет пользователям в поиске интересных сообществ ВКонтакте
Разработка набора алгоритмов машинного обучения и обработки больших данных, который решал бы задачу рекомендации контента пользователю
Разработка программной архитектуры сервиса и ее реализация

Гипотеза
Если получится создать сервис рекомендаций контента социальных сетей, то пользователям будет удобнее его получать

Краткое описание
Сёрч – система подбора и рекомендаций сообществ ВКонтакте
Работает на технологиях машинного обучения и обработки больших данных
Используются передовые технологии

Пример выдачи результатов

Получение данных
Происходит при помощи поискового бота
Необходимо для пополнения базы данных новыми сообществами

Принципы работы
Нейрон – наименьший элемент нейронной сети
Нейрон
Суммирование
сигналов
Функция нейрона

Нейронная сеть – множество нейронов, связанных в одно целое. Сейчас они используются в самых разных задачах (определение объектов по фото, распознавание речи, её синтез и прочее)
Функции нейронных сетей
Обучение
Обработка данных

Математический вектор
Вектор – упорядоченное множество элементов
Размерность вектора – количество элементов в нём

Автоэнкодер
Энкодер получает на вход вектор и уменьшает его размерность. На выходе получается внутреннее представление
Декодер на вход получает от энкодера внутреннее представление входных данных и пытается по ним восстановить сами входные данные
Декодер используется только при обучении нейронной сети
Энкодер
Декодер

Предобработка текста
Удаляются небуквенные символы
В словах исправляются ошибки
Они принимают начальную форму, маленькие слова отбрасываются
0. Съешь же ещё этих мяхких французких __-булок да выпей чаю!
Съешь же ещё этих мяхких французких булок да выпей чаю
Съешь же еще этих мягких французских булок да выпей чаю
Есть ещё этот мягкий французский булка пить чай

Словарь
Есть ещё этот мягкий французский булка
0
Я
1
этот
1
еще
1
1
1
0
1
0
0
есть
мягкий
французский
япония
булка
хлеб
три

Что дальше?
Получили много текстовых данных (поисковый бот)
Получили их векторное представление (энкодер)
???

Сходство векторов

Сходство наших векторов примерно равно 0.94. Чем больше значение – тем выше сходство

Получение общего вектора сообщества

Общая архитектура реализации

Оценки пользователей-тестеров

Итоги
Проект, который поможет пользователям в поисках информации, который активно разрабатывается и будет готов летом
Произведены различные исследования на темы использования различных алгоритмов, способов обработки, хранения информации и прочие
Изучены и разработаны новые технологии и способы применения уже имеющихся
Разработана архитектура проекта

Выводы
Нейронные сети стали неотъемлемой частью современной IT индустрии
Они позволяют делать многие интересные вещи, в том числе и обрабатывать текстовую информацию
Интернет-сообществу можно помочь при помощи создания сервисов подбора и рекомендации контента, а значит, можно помочь и пользователям в самообразовании

Цели на будущее
Найти средства на несколько мощных серверов
Реализовать сравнение сообществ не только по тексту постов, но и по другим параметрам (фото и видео, другие медиа)
Разработать алгоритмы создания еженедельных подборок сообществ по тематикам на главной странице
Оптимизировать все процессы получения и обработки информации
Создать красивый и удобный дизайн сайта
Привлечь пользователей

Спасибо за внимание
Группа проекта ВКонтакте