Системы рекомендаций

Цель работы: Выявить механизм работы систем рекомендаций для грамотного взаимодействия с различными Интернет ресурсами, сформировать представления о возможных ошибках в их работе, представив возможное решения.
Объект исследования: системы рекомендаций

Задачи:
Изучить методы работы рекомендательных систем, их свойства и особенности.
Определить проблемы возникающие при работе с рекомендательными системами
Выделить проблему и рассмотреть её на конкретном примере
Определить возможный путь практического решения проблемы
Сделать презентацию по итогам изучения темы и выступить с ней на школьной конференции проектных работ

План работы

Актуальность
https://tass.ru/obschestvo/6401818

Более 4,8 миллиарда используют Интернет, это 59% всего населения Земли (данные на момент начало 2020 года)
https://techblog.sdstudio.top/107-internet-statistika-2020-okonchatelnyj-spisok-faktov-i-tendencij/#1_48_milliarda_celovek_ispolzuut_Internet_ezednevno

Машинное обучение - подобласть искусственного интеллекта. Подход, полагающийся на выучивание закономерностей из имеющихся размеченных или неразмеченных данных -
Используется не прописанный алгоритм решения, а данные на основе, которых система обучается.

Системы рекомендаций
Задача:
Предоставлять пользователю наиболее интересные для него элементы( услуги, ресурсы, товары).
Методы:
Контент-ориентированные
Совместные

Методы совместной фильтрации
Используемые данные:
Прошлые взаимодействия между пользователями и элементами
Общая схема работы:
1. Формирования множества пользователей с аналогичными предпочтениями
2. Предсказания на основе степени близости пользователей и популярности наиболее подходящих элементов
Существует деление на
Основанными на памяти подходы
непосредственный поиск ближайших соседей
Модельные подходами
нахождения рейтинга элемента у пользователей

Контент-ориентированные методы
Используемые данные:
Свойства пользователя и элементов, с которыми пользователь уже взаимодействовал (дополнительная информация)
Общая схема работы
Выявления свойств пользователя и элементов
Построения моделей, выявления зависимости
Предсказания на основе модели
Оценка TF-IDF характеризует важность слова в конкретном документе
Дается на основе частоты употреблений слова в конкретном документе и в других документах

Гибридные
Методы, которые сочетают в себе методы совместной фильтрации и контент-ориентированного подхода
Очень распространены
Две формы:
Две модели независимо (одну модель совместной фильтрации и одну модель на основе контента) обучаются, затем их предложения объединяются
Единая модель (часто нейронная сеть), объединяющая оба подхода используя в качестве входных данных предварительную информацию (о пользователе и / или элементе) и информацию о взаимодействии.

Проблемы рекомендательных систем: «область ограниченной информации»
Рекомендательная система работающая слишком хорошо может в результате оказать негативный эффект.
Рекомендуя, только однотипные элементы и только усиливая привязку именно к такому типу элементов.
Методы совместной фильтрации
степень близости с пользователями используя реакции которых делаются прогнозы будет увеличиваться, вероятность, что в следующем прогнозе будет использоваться то же множества растет
Контент-ориентированные методы
В начальный момент времени, когда пользователь выбирает первый элемент, следующая рекомендация будет соответствовать одному элементу и выбор любого из рекомендованных элементов ещё больше закрепит свойства первого элемента ( важно, что когда количество элементов имеющий один общий признак он же окажется в подборку)

Проблемы рекомендательных систем:
Популярно – популярнее – ещё популярнее
В рекомендательных системах, где используются методы совместной фильтрации важным критерием является популярность элемента
Популярные элементы это те, что вырыли большое количество пользователей.
Рекомендательная система находит начинает рекомендовать всё более и более популярные элементы. Остальные признаки не могут закрепиться из-за слишком большого количества разных предпочтений

Проблемы рекомендательных систем:
Вывод
Выбор элементов из рекомендованного важен, для последующих рекомендаций
Элементы, которые вы выбираете всегда влияют на дальнейшие рекомендации

Статьи и новости в Интернете
Всё решает несколько строк называния статьи
Заголовок может не соответствовать содержанию, невозможно точно определить тему
Главное заголовок

Информационные ресурсы
Лента, составляется системой рекомендаций
Общего каталога может не быть
Используются на постоянной основе, история сохраняется
Для комфортного использования необходимо следить за выбором

Конкретный пример: Яндекс Дзен
Интернет-сервис, рекомендательная лента контента и платформа для различных публикаций.
Частично использует алгоритм «Королёв», который использует нейронную сеть

Теоретическое решение
При просмотре ленты видны только названия
Создание дополнительной системы «маркировки» новостей в соответствии с заранее указанными требования пользователя
Нужна дополнительная информация, максимально емко выраженная о соответствии статьи указанным пользователем предпочтений

Теоретическое решение
Несколько статей выделяются как статьи образцы ( по каждой интересующей теме, как минимум)
При просмотре ленты считывается полный текст статей
Используется алгоритм контент-ориентированного метода для сравнивания текстов образцов и нового
На статья отображается цветовой маркер соответствия ( зеленый – обнаружено соответствие, красный – нет)

Спасибо за внимание

Библиография
https://texterra.ru/blog/kak-rabotaet-umnaya-lenta-razdel-rekomendatsii-i-algoritm-prometey-unikalnaya-informatsiya-ot-komand.html
htthttps://cmsmagazine.ru/journal/research-7-algoritmov-tovarnyh-rekomendacij/ps://esputnik.com/blog/tovarnye-rekomendacii-na-sajte-instrument-povysheniya-konversii
https://ux.pub/ux-principy-dlya-personalnyx-rekomendacij-kontenta/
https://neurohive.io/ru/osnovy-data-science/rekomendatelnye-sistemy-modeli-i-ocenka/
https://vc.ru/ml/132779-mashinnoe-obuchenie-rekomendatelnye-sistemy
https://www.ispras.ru/proceedings/docs/2012/22/isp_22_2012_401.pdf
https://lpgenerator.ru/blog/2015/12/25/rekomendatelnye-sistemy-chto-eto/
https://www.hse.ru/data/2012/05/29/1252471276/5.pdf
http://intsysjournal.ru/pdfs/21-4/18-30-Kutanin.pdf
https://www.machinelearningmastery.ru/introduction-to-recommender-systems-6c66cf15ada/
https://logic.pdmi.ras.ru/~sergey/slides/N14_AIUkraine.pdf
http://datareview.info/article/sistemyi-rekomendatsiy-zadachi-podhodyi-algoritmyi/