Разрезайте набор данных на подгруппу за подгруппой до тех пор, пока случай не даст вам p < 0,05, а затем посмотрите, как свежий образец решит, были ли ваши выводы реальными или случайностью.
Лечение не имеет реального эффекта, поэтому любое значение, которое вы обнаружите, является шумом. Отфильтруйте данные по подгруппам и повторите тест столько раз, сколько потребуется, чтобы наткнуться на значение p ниже 0,05, а затем отправьте свой «вывод» рецензенту. Изюминка: проверка репликации берет новую независимую выборку и повторно проверяет ваше точное утверждение. Реальные эффекты сохраняются; p-хаки исчезают — и в этом пробеле заключается весь урок.
Cherry Picker рассказывает о p-хакинге, множественных сравнениях и о том, почему репликация так важна — о целостности статистики.
Разбивать данные на подгруппы и заново прогонять тест, пока что-нибудь не окажется значимым, — это подгонка данных, p-hacking: проведение множества тестов с публикацией только тех, что оказались значимыми.
Оригинальный замысел в том, что у воздействия нет реального эффекта, так что каждый найденный результат — шум по определению.
Это единственный честный способ этому научить. Изложенный абстрактно, p-hacking звучит как жульничество, до которого аккуратный человек никогда не опустится; проделав его на данных, заведомо пустых, вы видите, как легко возникает значимость, — и это проблема множественных сравнений, а не изъян характера.
Cherry Picker — это статистическая игра о хакинге, множественных сравнениях и важности репликации. Это оригинальная бесплатная браузерная игра, созданная для PlayPendium.