Интерпретация величины р и альтернативы её использованию в биомедицинских исследованиях

Обложка
  • Авторы: Гржибовский А.М.1,2,3,4, Гвоздецкий А.Н.5
  • Учреждения:
    1. Северный государственный медицинский университет
    2. Казахский национальный университет имени Аль-Фараби
    3. Западно-Казахстанский медицинский университет имени Марата Оспанова
    4. Северо-восточный федеральный университет имени М.К. Аммосова
    5. Северо-Западный государственный медицинский университет имени И.И. Мечникова Минздрава России
  • Выпуск: Том 29, № 3 (2022)
  • Страницы: 209-218
  • Раздел: Статьи
  • URL: https://journal-vniispk.ru/1728-0869/article/view/97249
  • DOI: https://doi.org/10.17816/humeco97249
  • ID: 97249

Цитировать

Полный текст

Аннотация

Существенные проблемы с интерпретацией результатов статистического анализа в биомедицинских исследованиях часто упоминают в литературе в качестве одной из причин кризиса воспроизводимости научных результатов. Закономерно появились предложения по улучшению ситуации, в том числе за счёт полного отказа от представления величины p в публикациях.

В настоящей работе рассмотрены причины сложившейся ситуации в контексте исторически различных подходов к проверке статистических гипотез и представлены альтернативы использованию значения р — доверительные интервалы и величина эффекта. Приведены аргументы «за» и «против» высказываемого в зарубежных источниках литературы предложения по изменению критического уровня значимости с 0,05 до 0,005. Для профилактики ошибочной интерпретации результатов статистического анализа сформирован список наиболее популярных заблуждений о смысле величины р, которые разбираются в ведущих журналах по статистике.

В статье предложены практические рекомендации для молодых учёных, следование которым может существенно сократить случаи некорректной интерпретации результатов статистического анализа в биомедицинских исследованиях.

Об авторах

Андрей Мечиславович Гржибовский

Северный государственный медицинский университет; Казахский национальный университет имени Аль-Фараби; Западно-Казахстанский медицинский университет имени Марата Оспанова; Северо-восточный федеральный университет имени М.К. Аммосова

Автор, ответственный за переписку.
Email: andrej.grjibovski@gmail.com
ORCID iD: 0000-0002-5464-0498
SPIN-код: 5118-0081

доктор медицины (Швеция), профессор

Россия, г. Архангельск; г. Алматы, Казахстан; г. Актобе, Казахстан; г. Якутск

Антон Николаевич Гвоздецкий

Северо-Западный государственный медицинский университет имени И.И. Мечникова Минздрава России

Email: gvozdetskiy_an@outlook.com
ORCID iD: 0000-0001-8045-1220
SPIN-код: 4430-6841

к.м.н.

Россия, г. Санкт-Петербург

Список литературы

  1. Polonioli A., Vega-Mendoza M., Blankinship B., Carmel D. Reporting in experimental philosophy: current standards and recommendations for future practice // Rev Philos Psychol. 2021. Vol. 12, N 1. P. 49–73. doi: 10.1007/s13164-018-0414-3
  2. Amrhein V., Trafimow D., Greenland S. Inferential statistics as descriptive statistics: there is no replication crisis if we don’t expect replication // The American statistician. 2019. Vol. 73. Suppl. 1. P. 262–270. doi: 10.1080/00031305.2018.1543137
  3. Amrhein V., Korner-Nievergelt F., Roth Т. The earth is flat (p >0.05): significance thresholds and the crisis of unreplicable research // PeerJ. 2017. Vol. 5. P. e3544. doi: 10.7717/peerj.3544
  4. Szucs D., Ioannidis J. When null hypothesis significance testing is unsuitable for research: a reassessment // Front Hum Neurosci. 2017. Vol. 11. P. 390. doi: 10.3389/fnhum.2017.00390
  5. Аканов А.А., Турдалиева Б.С., Изекенова А.К., и др. Оценка использования статистических методов в научных статьях медицинских журналов Казахстана. // Экология человека. 2013. Т. 20, № 5. С. 61–64.
  6. Dorey F. The p value: what is it and what does it tell you? // Clin Orthop Relat Res. 2010. Vol. 468, N 8. P. 2297–2298. doi: 10.1007/s11999-010-1402-9
  7. Haller H., Krauss S. Misinterpretations of significance: a problem students share with their teachers? // Methods of psychological research. 2002. Vol. 7, N 1. P. 1–20.
  8. Palesch Y.Y. Some common misperceptions about p-values // Stroke. 2014. Vol. 45, N 12. P. e244–e246. doi: 10.1161/STROKEAHA.114.006138
  9. Зорин Н.А. «Достоверность» или «статистическая значимость» — 12 лет спустя // Педиатрическая фармакология. 2011. Т. 8, № 5. С. 13–19.
  10. Kmetz J.L. Correcting corrupt research: recommendations for the profession to stop misuse of p-values // The American statistician. 2019. Vol. 73. Suppl. 1. P. 36–45. doi: 10.1080/00031305.2018.1518271
  11. McShane B.B., Gal D., Gelman A., Robert C., Tackett J.L. Abandon statistical significance //The American statistician. 2019. Vol. 73. Suppl. 1. P. 235–245. doi: 10.1080/00031305.2018.1527253
  12. Perezgonzalez J.D. Fisher, Neyman–Pearson or NHST? A tutorial for teaching data testing // Front Psychol. 2015. Vol. 6. P. 223. doi: 10.3389/fpsyg.2015.00223
  13. Lew M.J. Bad statistical practice in pharmacology (and other basic biomedical disciplines): you probably don’t know p: statistical inference using p-values // Br J Pharmacol. 2012. Vol. 166, N 5. P. 1559–1567. doi: 10.1111/j.1476-5381.2012.01931.x
  14. Pernet C. Null hypothesis significance testing: a guide to commonly misunderstood concepts and recommendations for good practice // F1000Research. 2017. Vol. 4. P. 621. doi: 10.12688/f1000research.6963.5
  15. Serdar C.C., Cihan M., Yücel D., Serdar M.A. Sample size, power and effect size revisited: simplified and practical approaches in pre-clinical, clinical and laboratory studies // Biochem Med (Zagreb). 2021. Vol. 31. N 1. P. 010502. doi: 10.11613/BM.2021.010502
  16. Lee D.K. Alternatives to p value: confidence interval and effect size // Korean J Anesthesiol. 2016. Vol. 69, N 6. P. 555–562. doi: 10.4097/kjae.2016.69.6.555
  17. Grissom R.J., Kim J.J. Effect sizes for research. 2nd ed. New York : Routledge; 2012. doi: 10.4324/9780203803233
  18. Sullivan G.M., Feinn R. Using effect size — or why the p value is not enough // J Grad Med Educ. 2012. Vol. 4, N 3. P. 279–282. doi: 10.4300/JGME-D-12-00156.1
  19. Colquhoun D. An investigation of the false discovery rate and the misinterpretation of p-values // R Soc Open Sci. 2014. Vol. 1, N 3. P. 140216. doi: 10.1098/rsos.140216
  20. Stahel W.A. New relevance and significance measures to replace p-values // PLoS One. 2021. Vol. 16, N 6. P. e0252991. doi: 10.1371/journal.pone.0252991
  21. Anderson N.D. Teaching signal detection theory with pseudoscience // Front Psychol. 2015. Vol. 6. P. 762. doi: 10.3389/fpsyg.2015.00762
  22. Benjamin D.J., Berger J.O., Johannesson M., et al. Redefine statistical significance // Nat Hum Behav. 2018. Vol. 2, N 1. P. 6–10. doi: 10.1038/s41562-017-0189-z
  23. Рубанович А.В. Пересмотр критического уровня значимости (0.005 вместо 0.05): байесовский след // Радиационная биология. Радиоэкология. 2018. Т. 58, № 5. С. 453–462. doi: 10.1134/S0869803118050156
  24. Betensky R.A. The p-value requires context, not a threshold // The American statistician. 2019. Vol. 73. Supl. 1. P. 115–117. doi: 10.1080/00031305.2018.1529624
  25. Lakens D., Adolfi F.G., Albers C.J., et al. Justify your alpha // Nature human behaviour. 2018. Vol. 2, N 3. P. 168–171. doi: 10.1038/s41562-018-0311-x
  26. Di Leo G., Sardanelli F. Statistical significance: p value, 0.05 threshold, and applications to radiomics — reasons for a conservative approach // Eur Radiol Exp. 2020. Vol. 4, N 1. P. 1–8. doi: 10.1186/s41747-020-0145-y
  27. Vexler A. Valid p-values and expectations of p-values revisited // Ann Inst Stat Math. 2021. Vol. 73. P. 227–248. doi: 10.1007/s10463-021-00800-8

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Графическое сравнение подходов к тестированию статистических гипотез: а — тестирование значимости по Фишеру; b — тестирование принятия по Нейману–Пирсону; sig. — уровень значимости, d — величина эффекта, α — вероятность ошибки первого рода, β — вероятность ошибки второго рода.

Скачать (71KB)
Метаданные
3. Рис. 2. Демонстрация концепции доверительного интервала.

Скачать (177KB)
Метаданные
4. Рис. 3. Изменение ширины доверительного интервала в зависимости от объёма наблюдений.

Скачать (225KB)
Метаданные
5. Рис. 4. Демонстрация концепции силы эффекта.

Скачать (63KB)
Метаданные

© Гржибовский А.M., Гвоздецкий А.Н., 2022

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
 


Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».