Разработка бизнес-приложений на платформе Lexema

ПРОБЛЕМА ПРОЕКТА
Проект: ООО «Лаборатория гемодиализа» − сеть из 27 гемодиализных клиник, работают на ERP-Lexema более 5 лет, врачи в системе делают назначения пациентам, фиксируют результаты анализов.

ПОСТАВЛЕННАЯ ЗАДАЧА ДЛЯ РЕШЕНИЯ ПРОБЛЕМЫ
Оперативно после получения актуальных анализов пациента, выдавать в системе рекомендации по назначению лечения.
Рекомендации системы должны быть оптимальными с точки зрения эффективности лечения для конкретного пациента
ГЛАВНЫЙ КРИТЕРИЙ ЭФФЕКТИВНОСТИ ЛЕЧЕНИЯ — УЛУЧШЕНИЕ ПОКАЗАТЕЛЕЙ АНАЛИЗОВ КРОВИ ПАЦИЕНТА

ОБОСНОВАННОСТЬ ПРИМЕНЕНИЯ МЕТОДОВ ИИ ДЛЯ РЕШЕНИЯ ЗАДАЧИ
ПРИЧИНА: большое количество факторов, от которых зависит выбор назначения и, как следствие, многовариантность назначений
ВАРИАНТ №1:
МЕТОДЫ РЕШЕНИЯ ЗАДАЧИ
ВЫБРАН
НЕ ПОДОШЕЛ
ВАРИАНТ №2:
Применение линейных алгоритмов
Применение методов ИИ

СХЕМА РЕАЛИЗАЦИИ РЕШЕНИЯ С ИИ
Разметка данных
Сбор репрезентативных данных
Выравнивание выборок
Формирование обучающей и тестовой выборок
Отбор признаков и факторов, влияющих на лечение
Выбор алгоритмов ML
Выбор метрик качества
Проверка результатов на тестовой выборке
Подбор эффективной стратегии лечения
Встраивание алгоритмов в медицинскую ERP-систему

На сегодняшний день в диализных центрах ООО «Лаборатория гемодиализ» используется ERP-система Lexema для учета данных о пациентах на диализе
1 ЭТАП. РАЗМЕТКА ДАННЫХ
Была подтверждена гипотеза о согласованности мнений экспертов
Получены размеченные данные, относящие противоанемическую терапию (ААТ) и терапию для восстановления фосфорно-кальциевого обмена (ФКО) к эффективной или нет.
Собрана база данных, позволяющая оперативно извлекать данные в динамике по любому пациенту диализного центра.
Особенность: избыточная терапия относилась также к неэффективной.

для противоанемической терапии (ААТ) было получено – более 9 тысяч записей,
из них 39% эффективная терапия, 61% - неэффективная,
из неэффективной терапии: избыточная 22%, недостаточная и неэффективная – 78%
Основными критериями эффективности терапий ФКО и ААТ считалось:
достижение целевых показателей анализов крови пациентов
наличие устойчивой положительной динамики показателей в течении 3-х месяцев
для противоанемической терапии (ФКО) было получено – около 9 тысяч записей,
из них 55% эффективная терапия, 45% - неэффективная,
из неэффективной терапии: избыточная 8%, недостаточная и неэффективная – 92%
1 ЭТАП. РЕЗУЛЬТАТ РАЗМЕТКИ ДАННЫХ

Алгоритм SMOTE: добавление в меньший класс «искуственных» похожих примеров (образцов)
Библиотека в Python: imblearn.over_sampling (SMOTE).
Алгоритм оверсэмлинга: размножение меньшего класса
Библиотека в Python: imblearn.over_sampling.
Решение проблемы отсутствия сбалансированности – сэмплирование выборки (изменение пропорции классов за счет увеличения меньшего класса, или уменьшения большего класса)
Алгоритм RUS (Random undersampling): уменьшение большего класса случайного образом
Библиотека в Python: imblearn.over_sampling (RUS).
2 ЭТАП. ВЫРАВНИВАНИЕ ВЫБОРКИ

Кросс валидация:
Кросс-валидация для всех 4 моделей проводилась на 5 фолдах.
Принцип построения моделей классификации — воронка
I Этап – прогнозирование эффективная/неэффективная терапия
II Этап – прогнозирование среди неэффективных избыточной/неэффективной терапии
Слепая валидация:
70% данных — обучающая выборка, 30% данных — тестовая выборка
Проверка работы методов ИИ на тестовых данных и сравнение результатов работы методов с данными экспертов
3 ЭТАП: ФОРМИРОВАНИЕ ОБУЧАЮЩЕЙ И ТЕСТОВОЙ ВЫБОРОК

4 ЭТАП. ОТБОР ФАКТОРОВ, ВЛИЯЮЩИХ НА ВЫБОР НАЗНАЧЕНИЯ ЛЕЧЕНИЯ
Всего выявлено:
57 факторов
Из них 6 факторов имеют гораздо большую значимость, чем остальные
Примеры:
Социально-демографические признаки пациента
Наличие у пациента хронических вирусных заболеваний
Длительность применения назначенных препаратов
Длительность нахождения на диализном лечении

МАТРИЦА МУЛЬТИКОЛЛИНЕАРНОСТИ
Матрица наличий линейной зависимости между объясняющими факторами
Красный зависимы,
Белый не зависимы
Синий обратная зависимость

6 ЭТАП. ВЫБОР АЛГОРИТМОВ ML
Наш выбор метода для оценка эффективности лечения — Модифицированный бустинг.
Причина модификации: повышение эффективности вычислительных ресурсов и, как следствие, уменьшение времени выполнения.
Использовали библиотеку xgboost.sklearn (XGBClassifier)
Нейросети — не подходят для применения в медицине.
Причина — поведение обученной нейросети не всегда может быть однозначно предсказуемо, что увеличивает риск применения.

TP (True Positives) – верно классифицированные положительные примеры
TN (True Negatives) – верно классифицированные отрицательные примеры
FN (False Negatives) – положительные примеры, классифицированные как отрицательные
FP (False Positives) – отрицательные примеры, классифицированные как положительные
Матрица неточностей
7 ЭТАП. ВЫБОР МЕТРИК КАЧЕСТВА

МЕТРИКИ КАЧЕСТВА
Метрики качества определялись на основе матрицы неточностей

Чувствительность — 98%
Специфичность — 98%
F = 0,98
AUC = 0,99
8 ЭТАП. РЕЗУЛЬТАТЫ НА ТЕСТОВОЙ ВЫБОРКЕ

Поиск соответствия проводился по базе прецедентов. Алгоритм мэтчинга был адаптирован за счет учета всех параметров по поиску наибольшего соответствия с весами.
Веса были проставлены:
в ходе экспертного опроса врачей-нефрологов
в результате многократного тестирования предложенных методов
в результате долевого распределения 10 ранжированных по значимости влияния признаков (для этого использовалась логистическая регрессия, построенная над всеми размеченными данными)
9 ЭТАП. ПОДБОР НАИБОЛЕЕ ПОДХОДЯЩЕЙ С ДАННЫМ ПРОФИЛЕМ ПАЦИЕНТУ ТЕРАПИЙ И ХАРАКТЕРИСТИК ПРОЦЕДУРЫ ДИАЛИЗА
Использовался алгоритм мэтчинга.
Критерием качества в мэтчинге считалось соответствие терапии профилю пациента не менее, чем на 80%.
Алгоритм SequenceMatcher : сравнения пар последовательностей
Библиотека в Python: difflib. SequenceMatcher

СРАВНЕНИЕ ЭФФЕКТИВНОСТИ
Процент эффективных назначений, полученных из ERP-системы по оценке ИИ: 49%
Целевой показатель эффективности для робота-врача: 98%
Эффективности назначений, т.е. улучшений показателей крови

КАК РЕШЕНИЕ/МОДЕЛЬ ВСТРОЕНО В ERP-СИСТЕМУ?

10 ЭТАП ВСТРАИВАНИЕ РЕШЕНИЕ/МОДЕЛИ В МЕДИЦИНСКУЮ ERP-СИСТЕМУ
1. SQL-запрос
с параметрами пациента
2. Python заполняет
SQL-таблицу данными с рекомендациями лечения
3. Интерфейс врача показывает данные таблицы

ОЦЕНКА ЭФФЕКТИВНОСТИ ПРЕДЫДУЩЕГО ЛЕЧЕНИЯ

ПРЕДЛОЖЕННЫЕ СИСТЕМОЙ НАЗНАЧЕНИЯ

АНАЛИЗ АНАЛОГИЧНЫХ РЕШЕНИЙ
Anemia Control Management
Германия
Strategic Anemia Advisor
США
Lexema-Medicine Россия
Эффективность
Чувствительность
Специфичность
70-83%
92%
75%
65%
98%
98%
98%