my_presentation

Цель: разработка агрегатора товаров с реализацией системы рекомендаций.

Предметная область
Data Science: обработка, анализ и представление данных в цифровой форме
Рекомендательные системы: комплекс алгоритмов, задача которого по имеющимся данным выдать список товаров наиболее интересных для конкретного пользователя

Основные термины и определения
Рекомендательная система
Content-based filtering
Collaborative filtering
Метод сопряженных градиентов
Проблема холодного старта
Кластеризация
Хитрейт
комплекс алгоритмов, задача которого, по данным о товарах и пользователях, выдать список товаров, наиболее интересных для конкретного пользователя
это метод рекомендации, который основывается на анализе того, что из себя представляет товар (описание, характеристики и т.д.).
это метод рекомендации, который основывается на анализе реакции пользователей на товары
итерационный метод решения систем линейных уравнений Ax = b, где A - симметричная положительно-определенная матрица.
одна из основных проблем метода Collaborative filtering, когда система не знает, что рекомендовать новому пользователю и кому рекомендовать новый товар
это разбиение элементов некоторого множества на сравнительно однородные группы
отношение количества рекомендаций, которые заинтересовали пользователя, к количеству выданных ему рекомендаций

Индивидуальные задачи

Задачи модуля рекомендательных систем
Получить общее представление о рекомендательных системах
По имеющимся знаниям выбрать алгоритмы для изучения и их последующей реализации
Реализовать Content-based filtering рекомендательную систему
Реализовать Collaborative filtering рекомендательную систему
6
1
2
3
4
5
Реализовать загрузчики и обработчики текстовых данных
Проверить качество реализованных рекомендательных систем

Функциональные требования
Каждый алгоритм рекомендательной системы должен быть обернут в класс, который и будет хранить в себе модель этого алгоритма
Для каждой модели должны быть реализованы метод для загрузки данных и метод для построения самой модели
1
2
3
4
Модель должна быть способной возвращать требуемое количество рекомендаций для пользователя
Модель должна индексировать товары и пользователей также, как они хранятся в хранилище данных

Анализ существующих подходов

Анализ существующих подходов

Content-based filtering
Составление матрицы tf-idf по описаниям товаров (вес слова пропорционален частоте употребления этого слова в тексте и обратно пропорционален частоте употребления слова во всех текстах)
Результатом запроса query будут индексы товаров, соответствующих наибольшим значениям вектора, полученного при произведении матрицы tf-idf на вектор query.

Collaborative filtering
Для explicit-модели: получить малоранговую матрицу товаров, используя алгоритм матричного разложения SVD
Для implicit-модели: разложить матрицу неявных отношений пользователей и товаров с помощью алгоритма ALS и метода сопряженных градиентов
Для бинарных отношений: ортонормировать матрицу отношений по одной из осей и по полученной матрице сформировать матрицу косинусного сходства по другой оси

Архитектура модуля

Кластеризация
Нужно подбирать количество кластеров
Приходится обучать модель заново каждый раз, чтобы она адаптировалась под новую выборку данных (по конкретному запросу)

Заключение
Все задачи, поставленные для реализации модуля рекомендательных систем были достигнуты.
В результате работы над проектом была достигнута основная цель: реализован агрегатор товаров с рекомендательными системами.

Направления для доработки
расширение списка загрузчиков и обработчиков данных;
расширение класса моделей рекомендательных систем;
импорт кода на Cython;
добавление инструментов для визуализации и анализа данных;

Список источников и ссылок
Git-repository проекта. https://github.com/starboy-3/PersonalRecommendationsApp
Git-repository модуля рекомендательных систем. https://github.com/exponenci/recs_systems
Анатомия рекомендательных систем. https://habr.com/ru/company/lanit/blog/420499/
Рекомендательные системы: идеи, подходы, задачи. https://habr.com/ru/company/jetinfosystems/blog/453792/
F.O.Isinkaye,Y.O.Folajimib,.A.Ojokoh. Recommendation systems: Principles, methods and evaluation. https://www.sciencedirect.com/science/article/pii/S1110866515000341
А.Г. Гомзин, А.В. Коршунов. Системы рекомендаций: обзор современных подходов. https://www.researchgate.net/publication/287544896_Recommender_systems_a_survey_of_modern_approaches
Shahzad Qaiser, Ramsha Ali. Text Mining: Use of TF-IDF to Examine the Relevance of Words to Documents. https://www.researchgate.net/publication/326425709_Text_Mining_Use_of_TF-IDF_to_Examine_the_Relevance_of_Words_to_Documents

Список источников и ссылок
Dheeraj Bokde, Sheetal Girase, Debajyoti Mukhopadhyay. Matrix Factorization Model in Collaborative Filtering Algorithms: A Survey. https://www.sciencedirect.com/science/article/pii/S1877050915007462
Gábor Takács, István Pilászy, Domonkos Tikk. Applications of the Conjugate Gradient Method for Implicit Feedback Collaborative Filtering. http://www.sze.hu/~gtakacs/download/recsys_2011_draft.pdf
Yifan Hu, Yehuda Koren, Chris Volinsky. Collaborative Filtering for Implicit Feedback Datasets. http://yifanhu.net/PUB/cf.pdf
Maarten Grootendorst. Topic Modeling with BERT. https://www.kdnuggets.com/2020/11/topic-modeling-bert.html