Поправки на множественные сравнения
Из предыдущего поста https://vk.com/clinical_study?w=wall-182541436_568 мы помним, что даже при идеально спланированном исследовании вероятность найти различия там, где их на самом деле нет, составляет 5% (при р=0.05). То есть примерно в 1/20 всех опубликованных положительных исследований статистически значимая разница между группами была получена случайно.
А если в рамках исследования мы проведем не одно сравнение, а 5? А если 20?
Увеличивая количество попарных сравнений, мы увеличиваем вероятность ошибки I рода (вероятность найти различия там, где их на самом деле нет — ложноположительного результата), и с этим, конечно, нужно бороться.
Самый простой способ — это уменьшить р-уровень значимости, который будет нам нужен для доказательства научной гипотезы. Например, достаточно распространена поправка Бонферрони. Она подразумевает, что мы делим стандартное р-значение (=0.05) на количество попарных сравнений.
К примеру, если попарных сравнений n=5, то мы 0.05 делим на 5 и получаем р=0.01 — именно такой уровень мы сочтем значимым.
