Feature Store. КПП

Что такое Feature Store
Feature Store - это персистентное хранилище атрибутов, предназначенное для обмена атрибутами между режимами Offline, NRT, Online и Студии, характеризующееся быстрым доступом к атрибутам по ключу
Какие задачи
Быстрый доступ к фичам в online-сценариях генерации рекомендаций
Удобное управления фичами для исполнения моделей и движка бизнес-правил
Переиспользование фичей между моделями
Единые правила и способы работы с фичами в online-сценариях
Реестр фичей и UI для работы с метаданными фичей
Обновление фичей в NRT-режиме
Версионирование и тегирование фичей

Какие Feature Store рассматривали
Open Source / On-premise
SaaS / Cloud
Принято решение реализовывать свой
Feature Store

Airflow
S3
Сценарии использования
1. Периодическая генерация фичей
Feature Store
Online Recommendation Service
Streaming
2. Генерация фичей в NRT-режиме
Feature Store
Online Recommendation Service
Kafka
Models
Models
Recommendations
Recommendations

Архитектура
Feature Store на основе MongoDB + Python SDK

]
Концепции
Feature
- Name
- Type
- Description
Feature View
- Name - Version
- Entity Key
- Features[]
- Metadata
- Tags[]
- Owners[]
- Description
- TTL
Python SDK:
create_feature_view()
list_feature_view()
describe_feature_view()
drop_feature_view()
materialize_features()
put_online_features()
get_online_features()

Customer Journey
Разработка фичей
Разработка DAG материализации фичей в Feature Store
Создание
Feature View
Разработка NRT обработчика потока данных
Разработка Online Recommendation Service
Подготовка данных и
извлечение признаков
Разработка пайплайна для
обновления признаков в Feature Store
Использование фичей
в online-сценариях

Разработка фичей
S3 (raw data)
S3 (processed features)
Airflow DAG
Experiments, Feature Engineering
Разработка Airflow DAG по построению таблицы с фичами

Создание Feature View
Включить в DAG этап создания Feature View
Описать Feature View с помощью Python ML SDK

Материализация фичей
Включить в DAG этап материализации фичей

Обновление фичей в NRT
Включить в NRT-обработку данных запись фичей в Feature Store
Это можно реализовать через Spark Streaming UDF или собственный NRT-сервис

Получение фичей в Online Rec Service
Включить в ORS получение фичей из Feature Store

План
На релиз:
- Хранилище на основе MongoDB
- Python SDK:
- materialize_features() - get_features()
- put_features()
После релиза:
- Работа с метаданными FeatureView
- Валидация метаданных
- Интеграция с Data Catalog
- Интеграция с движком бизнес-правил
- UI по просмотру метаданных
- TTL данных

Общее сравнение

Почему не подошел Feast
Нет интеграции с MongoDB
Невозможно делать поиск по значению фичей (нужно для движка бизнес правил)
Интеграция с Kafka поддерживается только через Spark Streaming
Фичи работы в NRT режиме и работы с Spark находятся в Alpha версии и не поддерживаются Maintainer
Сравнение по скорости Feast + Redis с собственным решением на Redis показало, что собственная реализация в 3 раза быстрее
Чтобы выгрузить датасет с фичами - необходимо подать на вход все Entity ID, что довольно неудобно
Невозможно использовать для event-подобных данных (для оффлайн стора), только для классических фичей-характеристик сущностей