Die klinische Anwendbarkeit evidenzbasierter Orthopädie - Eine Querschnittsstudie der Qualität der Evidenz orthopädischer Studien

Zusammenfassung

Einleitung: Die Forderung evidenzbasierte Methoden in der Orthopädie in den klinischen Alltag zu inkludieren wächst zusehends. Um diesem Anspruch gerecht werden zu können stellt sich jedoch die Frage nach der klinischen Anwendbarkeit und der Qualität der orthopädischen Evidenz. Studienziel: In einer Querschnittsstudie der rezenten orthopädischen Topliteratur soll die Qualität der Evidenz und einzelner Einflussparameter darauf untersucht werden. Methode: Alle kontrollierten Studien welche 2006 in orthopädischen Journalen mit hohem Impact Factor publiziert wurden werden mit einer Qualitätsanalyse basierend auf dem CONSORT-Statement untersucht. Der Einfluss von Einzelparametern wie Beteiligung eines ausgewiesenen statistischen Experten oder Forschungsgebiet werden in einer multivariaten Regression untersucht. Ergebnisse: 126 Studien wurden von zwei verblindeten unabhängigen Untersuchern analysiert. Die Gesamtqualität der Evidenz ist im mittleren bis oberen Bereich, wobei vor allem die Berechnung der Power, die „intention-to-treat“ und die Verblindung häufig vernachlässigt werden. Die Beteiligung eines Untersuchers mit statistischer Ausbildung ist signifikant mit einer hohen Qualität assoziiert. Wir konnten keine Hinweise finden, dass die statistische Signifikanz des Ergebnisses mit der Qualität der Evidenz zusammenhängt. Schlussfolgerung: Wir fanden für die rezenten orthopädischen kontrollierten Studien gute Werte auf unserer Skala der Evidenzqualität. Die am häufigsten vernachlässigten Qualitätsparameter waren Verblindung, „intention-to-treat“ und Power. Dies ist insoweit gefährlich, da mangelnde Verblindung zu falsch-positiven Ergebnissen führen kann. Unsere Daten belegen, dass die Unterstützung eines Statistikers oder besser eines Chirurgen mit wissenschaftsmethodologischer Ausbildung die Qualität einer Studie und damit die Reliabilität ihrer Ergebnisse signifikant verbessert.

Abstract

Introduction: The demand to routinely apply evidence-based methods in orthopedic surgery increases steadily. In order to do so, however, the validity and reliability of the “evidence” has to be scrutinized. Aim: The object of this study was to assess the quality of the most recent orthopedic evidence and to determine variables that have an influence on quality. Method: All 2006 controlled trials from orthopedic journals with high impact factors were analysed in a cross-sectional study. A score based on the CONSORT statement was used to assess study quality. Selected variables were tested for their influence on the quality of the study. Results: Two independent blinded observers reviewed 126 studies. The overall quality was moderate to high. The most neglected parameters were power analysis, intention-to-treat, and concealment. The participation of a methodologically trained investigator increases study quality significantly. There was no difference in study quality irrespective of whether or not there was statistically significant result. Conclusion: Using our quality score we were able show fairly good results for recent orthopedic studies. The most frequently neglected issues in orthopedic research are blinding, power analysis, and intention-to-treat. This may distort the results of clinical investigations considerably and, especially, lack of concealment causes false-positive findings. Our data show furthermore that participation of a methodologist significantly increases quality of the study and consequently strengthens the reliability of results.

Schlüsselwörter

Evidenz - evidenzbasierte Medizin - Studieninterpretation

Key words

evidence - evidence‐based medicine - critical appraisal

Literatur

• 1 Bhandari M, Morrow F. et al . Meta-analyses in orthopedic surgery.  JBJS. 2001;  83-A 15-24
• 2 Bhandari M, Richards R R. et al . The quality of reporting of randomized trials in The Journal of Bone and Joint Surgery from 1988 through 2000.  J Bone Joint Surg [Am]. 2002;  84 388-396
• 3 Freedman K, Back S. et al . Sample size and statistical power of randomised controlled trials in orthopaedics.  JBJS. 2001;  83-B 397-402
• 4 Garfield E. The history and meaning of the journal impact factor.  JAMA. 2006;  295 90-93
• 5 Lochner H, Bhandari M. et al . Type-II error rates (beta errors) of randomized trials in orthopaedic trauma.  JBJS. 2001;  83-A 1650-1655
• 6 Lüring C, Koester B. et al . Gibt es Evidenz in der evidenzbasierten Medizin? Ein Vergleich gängiger Klassierungssysteme und kritische Auseinandersetzung.  Z Orthop. 2006;  144 563-568
• 7 McCulloch P, Taylor I. et al . Randomised trials in surgery: problems and possible solutions.  BMJ. 2002;  324 1448-1451
• 8 Moher D, Schulz K F. et al . The CONSORT statement: revised recommendations for improving the quality of reports of parallel-group randomised trials.  Lancet. 2001;  357 1191-1194
• 9 Mullner M, Matthews H. et al . Reporting on statistical methods to adjust for confounding: a cross-sectional survey.  Ann Intern Med. 2002;  136 122-126
• 10 Poolman R W, Struijs P A. et al . Does a “level I evidence” rating imply high quality of reporting in orthopaedic randomised controlled trials?.  BMC Med Res Methodol. 2006;  6 44
• 11 Poolman R W, Struijs P A. et al . Reporting of outcomes in orthopaedic randomized trials: does blinding of outcome assessors matter?.  J Bone Joint Surg [Am]. 2007;  89 550-558