Статистические данные, или как правильно обработать результаты и не заплакать

Многие ученые при слове «статистика» впадают в панику и начинают судорожно вспоминать, что же такое t-тест. Я знаю это по себе, потому что каждый раз, когда мне нужно обрабатывать данные, мое знакомство со статистикой начинается с нуля. Надо смириться с тем, что, если вы занимаетесь наукой, неважно какой и на каком уровне, вам никак ее не избежать. Грамотная статистическая обработка данных помогает поднять кредит доверия к вашем результатам и к вам, как к автору исследования. Публикуя ошибочные статистические данные, вы не только вводите в заблуждение кого-то, кто попытается повторить ваши эксперименты, но и рушите репутацию свою и всей вашей исследовательской группы. То тут, то там мы слышим о новых исследованиях, опровергающих результаты прошлых. Именно поэтому в своей статье мы подробно разберем одно из недавних исследований, посвященное самым распространенным статистическим ошибкам, которые нужно избегать.

Tamar R Makin и Jean-Jacques Orban de Xivry решили собрать в одной статье статистические ошибки, с которыми наверняка почти все из вас сталкивались либо в процессе чтения научно-исследовательских статей, либо в процессе рецензирования, либо во время написания собственных. В интервью Nature Index один из авторов, Orban de Xivry, объяснил, что эти ошибки встречаются так часто из-за отношения ученого сообщества к публикациям. На сегодняшний день большее значение имеет количество публикаций, а не их качество. В погоне за индексом цитирования ученые исключают результаты, которые портят статистическую картину, даже если это качественное исследование. Что же отличает эту статью от множества подобных? Авторы обратили внимание на то, что многие ошибки часто идут рука об руку, влияя друг на друга, и вместо простого перечисления ошибок Makin и Orban de Xivry разобрали способы узнать, избежать и исправить их на разных стадиях написания статьи. Ниже представлены несколько примеров статистических неточностей, подробно разобранных в статье.

1. Начнем с одной из самых распространенных ошибок – отсутствие соответствующего контроля условия, контрольной группы или метода котроля. Изучение влияния какого-либо фактора на экспериментальную группу должно производиться на разных сроках с участием контрольной группы, которая не подвержена влиянию этого фактора. Варианты ошибок: контрольная группа не только не подвергается влиянию исследуемого фактора, но и содержится в условиях, не совпадающих с условиями содержания экспериментальной группы; не соблюден двойной слепой метод распределения объектов между экспериментальной и контрольной группами, в результате чего исследователи, зная на какие объекты оказывается влияние исследуемого фактора, склонны преувеличивать эффект воздействия; часто контрольная группа слишком маленькая. Если дизайн эксперимента не позволяет отделить естественные изменения, происходящие во время хронического эксперимента, и изменения, произошедшие под влиянием исследуемого фактора, то выводы из эксперимента должны быть представлены как предварительные. В некоторых случаях при многофакторных воздействиях исследователи забывают учитывать изменения, происходящие в результате воздействия каждого отдельного фактора, и фокусируются только на комбинированном воздействии. Взаимное влияние факторов друг на друга тоже часто остается незамеченным.
2. Установление ложных корреляций. Корреляции являются важным инструментом в науке для оценки значимости связи двух значений. Использование таких параметрических показателей, как коэффициент корреляции Пирсона, основывается на допущениях, которые важно учитывать, иначе они приводят к установлению ложных корреляций. Наличие нескольких выдающихся из общей массы значений для одного из двух показателей как раз и приводит к установлению неверных корреляций. Рецензенты должны особенно обращать внимание на корреляции, которые не сопровождаются диаграммой рассеяния. В большинстве случаев приоритет должен быть отдан таким статистическим методам установления корреляций, как Бутстрэп или анализ пропущенных значений, потому что они гораздо менее чувствительны к выделяющимся значениям.
3. Слишком маленькая выборка ведет к перееоцениванию эффекта, так как в этом случае только очень сильное влияние стимула может быть замечено. При статитстической значимости равной 0.05 5% всех тестов покажут высокий результат при полном отсутствии эффекта. Кроме того, в маленькой выборке легко пропустить какой-то эффект, а распределение выборки с большей вероятностью будет отклоняться от нормы. Избежать ошибки можно с помощью многократных повторений эксперимента или включения в эксперимент правильной контрольной группы, численность которой позволяет с достаточной достоверностью проследить изменения.

Из перечисленных примеров видно, что для правильной постановки эксперимента и написания статьи ученый должен по крайней мере умело манипулировать основами статистики. Кроме вышеупомянутых ошибок еще встречаются толькование сравнения двух эффектов без их прямого сравнения, раздувание единиц анализа, неспособность устраненить эффект множественных сравнений. Притягивание данных или p-hacking также является серьезным нарушением раньше часто встречавшимся в клинических исследованиях. В процессе клинического исследования ученые могли переключиться с исследования одного процесса на исследование совершенно другого на основе полученных результатов.

Визуализация данных тоже является важным аспектом обработки данных. Так, выбрав неправильный график, вы можете ввести аудиторию в заблуждение, изменив выводы. Круговые диаграммы подходят только для демонстрации разброса значений, которые в сумме составляют 100%. Столбчатые диаграммы хорошо подходят для сравнения значений среди отдельных групп.

Возможно, после прочтения этой статьи у вас возникнет мысль, что легче вообще не использовать статистику, ведь в ней так просто ошибиться. К всеобщему разочарованию это не выход, поэтому я постараюсь перечислить основные советы, которые помогут и вам, и мне, сократить вероятность статистических ошибок. Во-первых, при планирования исследования  определите, на какие вопросы вы пытаетесь ответить, потому что это поможет избежать проблем с эффектом множественных сравнений. Постарайтесь продумать, как вы будете обрабатывать данные до того, как начнете их собирать. При написании статьи ничего не скрывайте, чтобы другие ученые могли повторить ваши эксперименты с похожими результатами. Укажите, почему вы выбрали тот или иной способ обработки результатов, это поможет читателям и рецензентам оценить вашу работу по достоинству. Всегда добавляйте погрешности на графики. Если вы не уверены в том, какой статистический метод анализа использовать для ваших данных, проконсультируйтесь со специалистом.

К сожалению, несмотря на то, что это не первая и не последняя статья о статистических ошибках, множество ученых все еще попадают в одни и те же ловушки. В психологии, к примеру, не редкостью является появление научных статей о несуществующих явлениях, доказательство которым были получены в результате статистических ошибок, допущеных либо в дизайне эксперимента, либо в обработке полученных результатов. Единственное, что мы можем сделать, – это следить за статистической достоверностью своих собственных результатов и предоставлять открытый доступ к процессу исследований, результатам и их обработке. Хотя конечно, если вы пытаетесь доказать заведомо лженаучное явление, правильное использование статистики вас не то что не спасет, а даже навредит.

С какими ошибками в статистической обработке данных вы сталкивались? Расскажите нам об этом в комментариях. И обязательно поделитесь статьей со своими друзьями и коллегами.