Смысл понятия
Множественные сравнения возникают, когда в одном исследовательском контексте проверяют несколько гипотез: разные исходы, дозы, сроки, подгруппы или варианты анализа. Чем больше возможностей получить положительный результат, тем выше вероятность случайной находки без специального контроля. Это не запрет изучать несколько вопросов, а требование правильно организовать выводы и различать подтверждающие проверки от поискового анализа.
Как управляют проблемой
До получения результатов выделяют главную конечную точку и описывают порядок проверки остальных. В зависимости от задачи применяют иерархические процедуры, распределение допустимой ошибки или другие методы коррекции. Выбор зависит от того, какие утверждения планируется подтверждать совместно. Универсальная механическая поправка подходит не всегда; главное — прозрачный заранее заданный план, сохраняющий смысл клинических вопросов и контроль предусмотренной ошибки.
Пример
В исследовании оборудование не улучшило заранее выбранный основной исход, но среди многочисленных вторичных показателей один оказался статистически значимым. Такая находка может быть интересна для будущей проверки, однако не должна незаметно становиться главным доказательством эффективности. Необходимо знать, была ли для неё предусмотрена процедура контроля множественности и насколько результат согласуется с величиной эффекта, биологическим объяснением и другими данными.
Подгруппы и повторные просмотры
Отдельные анализы мужчин, женщин, возрастных групп и степеней тяжести также увеличивают число проверок. Разница значимости между подгруппами сама по себе ещё не доказывает различие эффектов между ними: нужен соответствующий анализ взаимодействия. Повторное изучение накапливающихся результатов создаёт дополнительную множественность во времени. Поэтому промежуточные проверки планируют отдельно. Полный перечень выполненных анализов помогает читателю оценить, насколько найденный результат мог быть выбран из множества альтернатив.
| Понятие или ситуация | Как понимать |
|---|---|
| Подтверждающий анализ | Заранее определённый вопрос с контролем статистической ошибки. |
| Поисковый анализ | Формирует гипотезы и требует осторожной интерпретации. |
| Иерархия исходов | Порядок, который ограничивает произвольный выбор удобного результата. |