Систематическая ошибка. Оценка риска систематической ошибки в рандомизированном контролируемом клиническом исследовании

Два вопроса после прочтения статьи
Могу ли я доверять выводам и результатам полученным в публикации?
Могу ли я применить эти данные в своей практике и помочь своим пациентам?

Выбор больных
Критерии включения в исследование
Критерии исключения из исследования
Информированное согласие на участие в исследовании

Внешняя валидность и случайные ошибки
Случайная ошибка (random error) исследования – это исключительно случайное расхождение между результатами измерения, какого-либо явления в конкретном выборочном исследовании и истинной величиной этого явления. Случайная ошибка в отдельном исследовании может отклонить результат от истины с одинаковой вероятностью в сторону заниженной или завышенной оценки. В отличие от случайной ошибки, систематическая ошибка (см. следующий раздел) смещает результат исследования обязательно либо в одну, либо другую сторону от истинного значения.
Если бы существовали только случайные ошибки, то, несмотря на возможное различие результатов, полученных на небольших выборках, среднее значение серии исследований достаточно надежно соответствовало бы истинному значению измеряемого явления
В более масштабных исследованиях возможно погашение случайных ошибок, и его результат приближаются к наиболее оптимальному

Предотвращение случайных ошибок
Основной способ уменьшения случайной ошибки – составление репрезентативной выборки, как по объему, так и по признакам популяции. Полностью исключить случайную ошибку невозможно, но следует ее минимизировать, тщательно продумывая всю организацию предстоящего исследования, не изменяя «на ходу», установленные правила его проведения.

Могу ли я доверять выводам и результатам полученным в публикации?
Систематическая ошибка, или смешение (systematic error, bias) – это непреднамеренное, но регулярное, неслучайное, однонаправленное отклонение результатов измерения от истинного значения.
Истинное значение измеряемого явления
Смещенный результат выборочного исследования
Изучаемая популяция

Виды систематических ошибок (СО) в РКИ
смещение, обусловленное отбором (selection bias)
смещение, обусловленное вниманием (performance bias)
смещение, обусловленное неправильной оценкой (detection bias)
смещение, обусловленное выбыванием участников (attrition bias)
смещение, обусловленное выборочным представлением результатов (reporting bias)
Смещение, обусловленное влиянием вмешивающихся факторов и модификатов эффекта (Confounding bias vs Effect modification)

Возникновение систематической ошибки в исследовании

Смещение, обусловленное отбором
Участники включаются или не включаются в исследование на основании характеристик, связанных с фактором риска:
Не включаются пациенты оперированные экстренно
Не включаются пожилые пациенты (проблемы согласия)
Смещение, обусловленное отбором подразумевает отличие пациентов в выборке от пациентов целевой популяции.
Худшим примером такой СО является использование разных принципов отбора для пациентов исследуемой и контрольной группы.
Качественно проведенная рандомизация и сокрытие рандомизации предотвращают появление такого вида СО. Однако такой вид СО достаточно часто встречается в обсервационных исследованиях.

Смещение, обусловленное отбором

Метод рандомизации

Метод рандомизации
Неопределенный риск выставляется в следующих ситуациях
Рандомизация заявлена, нет описания процесса
Недостаточно полное описание процесса
Заявлена блоковая рандомизация, однако нет данных как проводился выбор блока (таблица случайных чисел, компьютерная рандомизация)

Сокрытие рандомизационной последовательности

Смещение, обусловленное вниманием
Данная систематическая ошибка возникает в связи с повышенным вниманием к исследуемой группе по сравнению с контрольной.
Механизм возникновения данной СО связан с Хоторнским эффектом.
Пациенты из экспериментальной группы и лечащий персонал знают, и в связи с этим меняют свое поведение. Врачи чаще осматривают пациентов и уделяют больше внимания на визитах. Пациенты обращают внимания на самые незначительные изменения в своем состоянии.

Кого ослепляют?
В публикации отсутствуют четко сформулированное описания ослепления пациентов, персонала, лиц оценивающих исходы

Ослепление с помощью плацебо (double dummy)

Виды ослепления

Смещение, обусловленное неправильной оценкой
Кто оценивает исход?
Пациент
Медик
Другие лица
Есть ли ослепление при оценке исхода?
Процедура ослепления эффективна?
Сам исход является объективным или субъективным?

Смещение, обусловленное неправильной оценкой

Смещение, обусловленное неправильной оценкой

Смещение, обусловленное неправильной оценкой

Смещение, обусловленное выбыванием участников
Сколько пропусков данных об исходах в каждой группе?
Какие причины выбывания пациентов из исследования в каждой группе?
Как восполнялась потеря данных?

Смещение, обусловленное выбыванием участников

Смещение, обусловленное выбыванием участников

Смещение, обусловленное выбыванием участников

Смещение, обусловленное выборочным представлением результатов

Смещение, обусловленное влиянием вмешивающихся факторов
Другие возможные источники систематических ошибок, например:
конфликт интересов
сложный дизайн исследования (более двух групп сравнения, перекрестный план, последовательный план и т. д.);
отклонение от протокола исследования, противоречащее стандартам надлежащей клинической практики (GCP – good clinical practice);
недостаточная длительность исследования для оценки заявленных в протоколе клинических исходов;
малый размер выборки (менее 20 наблюдений хотя бы в одной из групп).

Инструменты для контроля систематических ошибок

Валидированный опросник Cochrane

Оценка риска систематической ошибки в РКИ тофацитиниба

Метод рандомизация и сокрытие последовательности

Ослепление в рамках исследования

Выбывание пациентов

Интерпретация результатов
Высокий риск систематической ошибки, хотя бы в одном домене говорит о высоком риске СО во всем исследовании.