Network meta-analysis for clinicians

Cover Page

Cite item

Full Text

Abstract

Decision making in clinical practice requires consideration of the relative efficacy and safety of medical interventions. A systematic review and meta-analysis, the results of which have the highest level of confidence in evidence-based medicine, only compare the effectiveness of two interventions, provided that there is a direct comparison between them in a set of randomized controlled trials. The development of statistical methods has led to the development of the network meta-analysis method, the application of which allows comparison for more than two interventions and even if the interventions were not directly compared in randomized controlled trials, but have a common comparison intervention. As a result, network meta-analysis is increasingly being used as an evidence base for the effectiveness of medical interventions. However, there are important assumptions and conditions underlying the performance of network meta-analysis. In this work, we tried to outline the main aspects of network meta-analysis that are important for clinicians in terms of its implementation and interpretation of its results.

About the authors

Alexey A. Bogdanov

Saint Petersburg Clinical Research and Practice Centre for Specialized Types of Medical Care (Oncological)

Author for correspondence.
Email: a.bogdanov@oncocentre.ru
ORCID iD: 0000-0002-7887-4635

Cand. Sci. (Phys.-Math.)

Russian Federation, Saint Petersburg

Andrey A. Bogdanov

Saint Petersburg Clinical Research and Practice Centre for Specialized Types of Medical Care (Oncological)

Email: vip.nasa@bk.ru

Res. Assist.

Russian Federation, Saint Petersburg

References

  1. Masic I, Miokovic M, Muhamedagic B. Evidence based medicine – new approaches and challenges. Acta Inform Med. 2008;16(4):219-25. doi: 10.5455/aim.2008.16.219-225
  2. Murad MH, Asi N, Alsawas M, Alahdab F. New evidence pyramid. Evidence Based Medicine. 2016;21(4):125-7. doi: 10.1136/ebmed-2016-110401
  3. Lockwood C, Oh EG. Systematic reviews: Guidelines, tools and checklists for authors. Nurs Health Sci. 2017;19(3):273-7. doi: 10.1111/nhs.12353
  4. Khan KS, Kunz R, Kleijnen J, Antes G. Five steps to conducting a systematic review. J R Soc Med. 2003;96(3):118-21. doi: 10.1258/jrsm.96.3.118
  5. Berlin JA, Golub RM. Meta-analysis as Evidence: Building a Better Pyramid. JAMA. 2014;312(6):603-6. doi: 10.1001/jama.2014.8167
  6. Bucher HC, Guyatt GH, Griffith LE, Walter SD. The results of direct and indirect treatment comparisons in meta-analysis of randomized controlled trials. J Clin Epidemiol. 1997;50(6):683-91. doi: 10.1016/s0895-4356(97)00049-8
  7. Higgins JP, Whitehead A. Borrowing strength from external trials in a meta-analysis. Stat Med. 1996;15(24):2733-49. doi: 10.1002/(sici)1097-0258(19961230)15:24<2733::aid-sim562>3.0.co;2-0
  8. Salanti G. Indirect and mixed-treatment comparison, network, or multiple-treatments meta-analysis: many names, many benefits, many concerns for the next generation evidence synthesis tool. Res Synth Methods. 2012;3(2):80-97. doi: 10.1002/jrsm.1037
  9. Caldwell DM, Ades AE, Higgins JP. Simultaneous comparison of multiple treatments: combining direct and indirect evidence. Br Med J (Clin Res Ed). 2005;331(7521):897-900. doi: 10.1136/bmj.331.7521.897
  10. Lu G, Ades AE. Combination of direct and indirect evidence in mixed treatment comparisons. Stat Med. 2004;23(20):3105-24. doi: 10.1002/sim.1875
  11. Faltinsen EG, Storebø OJ, Jakobsen JC, et al. Network meta-analysis: the highest level of medical evidence? BMJ Evid Based Med. 2018;23(2):56-9. doi: 10.1136/bmjebm-2017-110887
  12. Dias S, Caldwell DM. Network meta-analysis explained. Arch Dis Child Fetal Neonatal Ed. 2019;104(1):F8-12. doi: 10.1136/archdischild-2018-315224
  13. Rouse B, Chaimani A, Li T. Network meta-analysis: an introduction for clinicians. Intern Emerg Med. 2017;12(1):103-11. doi: 10.1007/s11739-016-1583-7
  14. Tonin FS, Rotta I, Mendes AM, Pontarolo R. Network meta-analysis: a technique to gather evidence from direct and indirect comparisons. Pharm Pract (Granada). 2017;15(1):943. doi: 10.18549/PharmPract.2017.01.943
  15. Ter Veer E, van Oijen MGH, van Laarhoven HWM. The Use of (Network) Meta-Analysis in Clinical Oncology. Front Oncol. 2019;9:822. doi: 10.3389/fonc.2019.00822
  16. Zarin W, Veroniki AA, Nincic V, et al. Characteristics and knowledge synthesis approach for 456 network meta-analyses: a scoping review. BMC Med. 2017;15(1):3. doi: 10.1186/s12916-016-0764-6
  17. Ge L, Tian J-h, Li X-x, et al. Epidemiology Characteristics, Methodological Assessment and Reporting of Statistical Analysis of Network Meta-Analyses in the Field of Cancer. Sci Rep. 2016;6(1):37208. doi: 10.1038/srep37208
  18. Moher D, Liberati A, Tetzlaff J, Altman DG. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. Br Med J (Clin Res Ed). 2009;339:b2535. doi: 10.1136/bmj.b2535
  19. Hutton B, Salanti G, Caldwell DM, et al. The PRISMA extension statement for reporting of systematic reviews incorporating network meta-analyses of health care interventions: checklist and explanations. Ann Intern Med. 2015;162(11):777-84. doi: 10.7326/m14-2385
  20. Higgins JPT, Altman DG, Gøtzsche PC, et al. The Cochrane Collaboration’s tool for assessing risk of bias in randomised trials. Br Med J (Clin Res Ed). 2011;343:d5928. doi: 10.1136/bmj.d5928
  21. Rethlefsen ML, Murad MH, Livingston EH. Engaging Medical Librarians to Improve the Quality of Review Articles. JAMA. 2014;312(10):999-1000. doi: 10.1001/jama.2014.9263
  22. Li L, Tian J, Tian H, et al. Network meta-analyses could be improved by searching more sources and by involving a librarian. J Clin Epidemiol.2014;67(9):1001-7. doi: 10.1016/j.jclinepi.2014.04.003
  23. Altwairgi AK, Booth CM, Hopman WM, Baetz TD. Discordance Between Conclusions Stated in the Abstract and Conclusions in the Article: Analysis of Published Randomized Controlled Trials of Systemic Therapy in Lung Cancer. J Clin Oncol. 2012;30(28):3552-7. doi: 10.1200/jco.2012.41.8319
  24. McAuley L, Pham B, Tugwell P, Moher D. Does the inclusion of grey literature influence estimates of intervention effectiveness reported in meta-analyses? The Lancet. 2000;356(9237):1228-31. doi: 10.1016/S0140-6736(00)02786-0
  25. Egger M, Smith GD, Schneider M, Minder C. Bias in meta-analysis detected by a simple, graphical test. Br Med J (Clin Res Ed). 1997;315(7109):629-34. doi: 10.1136/bmj.315.7109.629
  26. Trinquart L, Ioannidis JPA, Chatellier G, Ravaud P. A test for reporting bias in trial networks: simulation and case studies. BMC Medical Research Methodology. 2014;14(1):112. doi: 10.1186/1471-2288-14-112
  27. Higgins JP, Thompson SG, Deeks JJ, Altman DG. Measuring inconsistency in meta-analyses. Br Med J (Clin Res Ed). 2003;327(7414):557-60. doi: 10.1136/bmj.327.7414.557
  28. Watt J, Tricco AC, Straus S, et al. Research Techniques Made Simple: Network Meta-Analysis. J Invest Dermatol. 2019;139(1):4-12.e1. doi: 10.1016/j.jid.2018.10.028
  29. Higgins J, Thomas J, Chandler J, et al. Cochrane handbook for systematic reviews of interventions version 6.2. Cochrane, 2021.
  30. Cipriani A, Higgins JP, Geddes JR, Salanti G. Conceptual and technical challenges in network meta-analysis. Ann Intern Med. 2013;159(2):130-7. doi: 10.7326/0003-4819-159-2-201307160-00008
  31. IntHout J, Ioannidis JP, Borm GF. Obtaining evidence by a single well-powered trial or several modestly powered trials. Statistical Methods in Medical Research. 2016;25(2):538-52. doi: 10.1177/0962280212461098
  32. Serghiou S, Goodman SN. Random-Effects Meta-analysis: Summarizing Evidence With Caveats. JAMA. 2019;321(3):301-2. doi: 10.1001/jama.2018.19684
  33. Efthimiou O, Debray TP, van Valkenhoef G, et al. GetReal in network meta-analysis: a review of the methodology. Res Synth Methods. 2016;7(3):236-63. doi: 10.1002/jrsm.1195
  34. Hassan S, Ravishankar N, Nair SN. Methodological considerations in network meta-analysis. Int J Med Sci Public Health. 2015;4(5):1-7.
  35. Dias S, Ades AE, Welton NJ, et al. Network meta-analysis for decision-making: John Wiley and Sons, 2018.
  36. Aronow PM, Miller BT. Foundations of agnostic statistics: Cambridge University Press, 2019.
  37. Greco T, Edefonti V, Biondi-Zoccai G, et al. A multilevel approach to network meta-analysis within a frequentist framework. Contemporary Clinical Trials. 2015;42:51-9. doi: 10.1016/j.cct.2015.03.005
  38. Madden LV, Piepho HP, Paul PA. Statistical Models and Methods for Network Meta-Analysis. Phytopathology. 2016;106(8):792-806. doi: 10.1094/phyto-12-15-0342-rvw
  39. Kim H, Gurrin L, Ademi Z, Liew D. Overview of methods for comparing the efficacies of drugs in the absence of head-to-head clinical trial data. Brit J Clin Pharm. 2014;77(1):116-21. doi: 10.1111/bcp.12150
  40. Ohlssen D, Price KL, Xia HA, et al. Guidance on the implementation and reporting of a drug safety Bayesian network meta-analysis. Pharm Stat. 2014;13(1):55-70. doi: 10.1002/pst.1592
  41. Kibret T, Richer D, Beyene J. Bias in identification of the best treatment in a Bayesian network meta-analysis for binary outcome: a simulation study. Clin Epidemiol. 2014;6:451-60. doi: 10.2147/clep.s69660
  42. Uhlmann L, Jensen K, Kieser M. Bayesian network meta-analysis for cluster randomized trials with binary outcomes. Res Synth Methods. 2017;8(2):236-50. doi: 10.1002/jrsm.1210
  43. Shim SR, Kim SJ, Lee J, Rücker G. Network meta-analysis: application and practice using R software. Epidemiol Health. 2019;41:e2019013. doi: 10.4178/epih.e2019013
  44. Seide SE, Jensen K, Kieser M. A comparison of Bayesian and frequentist methods in random-effects network meta-analysis of binary data. Res Synth Methods. 2020;11(3):363-78. doi: 10.1002/jrsm.1397
  45. Rücker G, Krahn U, König J, et al. Network meta-analysis using frequentist methods. (netmeta): R package version 1.2-1. 2020
  46. van Valkenhoef G, Lu G, de Brock B, et al. Automating network meta-analysis. Res Synth Methods. 2012;3(4):285-99. doi: 10.1002/jrsm.1054
  47. Богданов А.А., Моисеенко Ф.В., Егоренков В.В., и др. Сравнение эффективности первой линии терапии разными поколениями ингибиторов EGFR-тирозинкиназы у пациентов с распространенным EGFR-ассоциированным немелкоклеточным раком легкого: сетевой метаанализ данных общей выживаемости. Современная Онкология. 2021;23(1):116-20 [Bogdanov AA, Moiseenko FV, Egorenkov VV, et al. Comparison of the efficacy of first-line therapy with different generations of EGFR tyrosine kinase inhibitors in patients with advanced EGFR-associated non-small cell lung cancer: a network meta-analysis of overall survival data. Journal of Modern Oncology. 2021;23(1):116-20 (in Russian)]. doi: 10.26442/18151434.2021.1.200731
  48. Scodes S, Cappuzzo F. Determining the appropriate treatment for different EGFR mutations in non-small cell lung cancer patients. Expert Review of Respiratory Medicine. 2020;14(6):565-76. doi: 10.1080/17476348.2020.1746646
  49. Rücker G, Schwarzer G. Ranking treatments in frequentist network meta-analysis works without resampling methods. BMC Med Res Methodol. 2015;15(1):58. doi: 10.1186/s12874-015-0060-8
  50. Mbuagbaw L, Rochwerg B, Jaeschke R, et al. Approaches to interpreting and choosing the best treatments in network meta-analyses. Systematic Reviews. 2017;6(1):79. doi: 10.1186/s13643-017-0473-z
  51. Li J, Kwok HF. Current Strategies for Treating NSCLC: From Biological Mechanisms to Clinical Treatment. Cancers (Basel). 2020;12(6):1587. doi: 10.3390/cancers12061587
  52. Ventresca M, Schünemann HJ, Macbeth F, et al. Obtaining and managing data sets for individual participant data meta-analysis: scoping review and practical guide. BMC Med Res Methodol. 2020;20(1):113. doi: 10.1186/s12874-020-00964-6
  53. Riley RD, Lambert PC, Abo-Zaid G. Meta-analysis of individual participant data: rationale, conduct, and reporting. Br Med J (Clin Res Ed). 2010;340:c221. doi: 10.1136/bmj.c221
  54. Lipworth W. Real-world Data to Generate Evidence About Healthcare Interventions. Asian Bioethics Review. 2019;11(3):289-98. doi: 10.1007/s41649-019-00095-1
  55. Bartlett VL, Dhruva SS, Shah ND, et al. Feasibility of Using Real-World Data to Replicate Clinical Trial Evidence. JAMA Network Open. 2019;2(10):e1912869-e. doi: 10.1001/jamanetworkopen.2019.12869
  56. Ito K, Morise M, Wakuda K, et al. A multicenter cohort study of osimertinib compared with afatinib as first-line treatment for EGFR-mutated non-small-cell lung cancer from practical dataset: CJLSG1903. ESMO Open. 2021;6(3):100115. doi: 10.1016/j.esmoop.2021.100115

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2. Fig. 1. Illustration of the indirect comparison method.

Download (72KB)
Indexing metadata
3. Fig. 2. Illustration of the network of evidence – network graphs of comparisons: a, b, c – connected network; d – disconnected network; b, c – there is a closed "loop" in the network of evidence.

Download (62KB)
Indexing metadata
4. Fig. 3. Network meta-analysis results obtained in: a – network graph of comparisons; b – forest plot obtained in network meta-analysis comparing the efficiency of tyrosine kinase inhibitors (TKI) used in first line therapy of patients with advanced EGFR-associated non-small-cell lung carcinoma versus chemotherapy in terms of overall survival (OS); c – league table obtained in network meta-analysis comparing the efficiency of TKI used in first line therapy of patients with advanced EGFR-associated NSCLC in terms of OS [47].

Download (165KB)
Indexing metadata

Copyright (c) 2021 Consilium Medicum

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
 


Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».