Evidence Level I a - Ist die Königin der wissenschaftlichen Evidenz so attraktiv wie ihr Ruf?

Zusammenfassung

In diesem Aufsatz wird hinterfragt, ob die Königin valider Aussagen, die Metaanalyse, tatsächlich ihrem Ruf gerecht wird und keiner weiteren Überprüfung mehr bedarf. Dazu haben wir als Hypothese formuliert, dass die Bewertung von klinischen Studien und Metaanalysen weitgehend auf subjektiven Kriterien beruht, die bisher nur unzureichend standardisiert sind. Um diese Hypothese zu stützen, präsentieren wir wissenschaftliche Evidenz zu drei Themen: 1) Studien, die in Metaanalysen eingeschlossen werden, entsprechen nicht immer den Anforderungen an die Studienqualität. 2) Die umfangreichen Ergebnisse einer Metaanalyse, die von Wissenschaftlern gelesen werden, stimmen nicht immer mit der Zusammenfassung derselben Metaanalyse überein, die von Politikern gelesen wird. 3) Jeder Wissenschaftler, der seine Autonomie nicht aufgeben will, wird selbst entscheiden, ob neue wissenschaftliche Daten (externe Evidenz) für ihn hinreichend valide und überzeugend sind, um seine bisherige Überzeugung (interne Evidenz) zu ändern, falls sie mit diesen neuen Daten nicht übereinstimmt. Dieser Prozess ist immer subjektiv und individuell. Wir meinen mit hinreichend validen Methoden belegen zu können, dass auch Metaanalysen einer Überprüfung bedürfen. Diese Überprüfung kann nur durch die scientific community selbst garantiert werden. Diese Garantie muss verlässlich sein, d. h. Pseudoevidenz ist zu vermeiden, weil die Gesellschaft andernfalls das Vertrauen in die Leistungen der scientific community verliert und sich an anderen - möglicherweise methodisch weniger stringent geprüften - Aussagen orientiert.

Abstract

Here we raise the question as to whether the highest standard of valid statements, the meta-analysis, really earns its reputation and needs no further testing. For that purpose we formulated the hypothesis that the evaluation of clinical studies and meta-analyses is largely based on subjective criteria, which have hitherto not been sufficiently standardised. To support this hypothesis, we present scientific evidence on three topics: 1) Studies included in meta-analyses do not always meet the quality demands for inclusion in a meta-analysis. 2) The comprehensive results of a meta-analysis, which is read by scientists, do not always correspond with the summary in the same meta-analysis, which is read by politicians and decision makers in the health-care system. 3) Every scientist who does not want to relinquish his/her autonomy will decide for him- / herself whether new scientific data (external evidence) is sufficiently valid and convincing to change his/her previous conviction (internal evidence) should this not coincide with the new data. This process is always subjective and individual. We believe we can prove with sufficiently valid methods that even meta-analyses require testing, which can only be guaranteed by the scientific community itself. This guarantee must be reliable, i. e., pseudoevidence must be avoided because society will otherwise lose trust in the achievements of the scientific community and orient itself towards other statements, which may be subject to less methodically stringent proof.

Schlüsselwörter

Evidence Level - Metaanalyse - Validität - Pseudoevidence-based Medicine

Key words

level of evidence - meta-analysis - validity - pseudoevidence-based medicine

Literatur

• 1 Anand A C. Evidence-based or evidence-biased medicine?.  Natl Med J India. 2006;  19 100-103
• 2 Bossard N, Boissel F H, Boissel J P. Level of evidence and therapeutic evaluation: need for more thoughts.  Fundam Clin Pharmacol. 2004;  18 365-372
• 3 Darmoni S J, Haug M C, Lukacs B, Biossel J P. Quality of health information about depression on internet. Level of evidence should be gold standard.  BMJ. 2001;  322 1367
• 4 Guyatt G H, Sinclair J, Cook D J, Glasziou P. Users' guides to the medical literature: XVI. How to use a treatment recommendation. Evidence-Based Medicine Working Group and the Cochrane Applicability Methods Working Group.  JAMA. 1999;  281 1836-1843
• 5 Jørgensen A W, Hilden J, Gøtzsche P C. Cochrane reviews compared with industry supported meta-analyses and other meta-analyses of the same drugs: systematic review.  BMJ. 2006;  333 782-786
• 6 Manns M, McHutchison J, Gordon S the International Hepatitis Interventional Therapy Group et al. and. Peginterferon alfa-2b plus ribavirin compared for initial treatment of chronic hepatitis C: a randomised trial.  Lancet. 2001;  358 958-965
• 7 Melander H, Ahlqvist-Rastad J, Meijer G, Beermann B. Evidence b(i)ased medicine - selective reporting from studies sponsored by pharmaceutical industry: review of studies in new drug applications.  BMJ. 2003;  326 1171-1173
• 8 Nothardt N. Validity of Clinical Trials in Homeopathy included in Systematic Reviews. Thesis submitted to the Medical Faculty University of Ulm 2007
• 9 Phillips B, Ball C, Sackett D, Badenoch D, Straus S, Haynes B, Dawes M. Levels of evidence. Homepage des Oxford-Centre for Evidence-Based Medicine
• 10 Poolman R W, Struijs P A, Krips R, Sierevelt I N, Lutz K H, Bhandari M. Does a “Level I Evidence” rating imply high quality of reporting in orthopaedic randomised controlled trials?.  BMC Med Res Methodol. 2006;  6 44
• 11 Porzsolt F, Ohletz A, Thim A, Gardner D, Ruatti H, Meier H, Schlotz-Gorton N, Schrott L. Evidence-based decision making. The six step approach. Editorial.  Evidence-Based Medicine. 2003;  8 165-166
• 12 Porzsolt F, Kajnar H, Awa A, Fässler M, Herzberger B. Validity of Original Studies in Health-Technology Assessment (HTA) Reports: Significance of Standardized Assessment and Reporting.  Int J Technol Assess Health Care. 2005;  21 1-4
• 13 Rogler G, Schölmerich J. Evidence-biased Medicine - oder trügerische Sicherheit der Evidence.  Dtsch Med Wochenschr. 2000;  125 1122-1128
• 14 Sackett D L, Straus S E, Richardson W S, Rosenberg W, Haynes R B. Evidence-based medicine. How to practice and teach EBM. 2nd edition. Churchill Livingstone, Edinburgh, London, New York 2000
• 15 Smith W R. Pseudoevidence-based medicine: what it is, and what to do about it.  Clinical Governance. 2007;  12 42-52
• 16 Zlowodzki M, Jonsson A, Bhandari M. Common pitfalls in the conduct of clinical research.  Med Princ Pract. 2006;  15 1-8