Vergleichswerte zur Bewertung von Effektgrößen in rehabilitationswissenschaftlichen Studien am Beispiel des IRES-Patientenfragebogens Version 2

Zusammenfassung

Fragestellung: In der vorliegenden Studie wird der Einfluss von Berechnungsform und Moderatorvariablen wie Geschlecht, Indikation und Alter dokumentiert. Die Angabe von Effektgrößen ermöglicht die stichprobengrößenunabhängige Darstellung von Mittelwertsdifferenzen. Effektgrößen werden allerdings nicht einheitlich ermittelt, wobei unterschiedlichen Berechnungsformen zu differierenden Kennwerten führen. Ferner wird der Nutzen der von Cohen vorgeschlagenen Kategorisierung der Effektgrößen in kleine, mittlere und große Effekte für die Rehabilitationswissenschaften untersucht. Durchführung und Methodik: Die verschiedenen Effektgrößenmaße zum IRES-Patientenfragebogen (Indikatoren des Reha-Status, Version 2) werden mit Hilfe von Daten einer Metaanalyse (n = 7775) ermittelt. Der subjektive Gesundheitszustand von Patienten zu Beginn und am Ende der stationären medizinischen Rehabilitation wird in den Indikationsbereichen Orthopädie (n = 3402), Kardiologie (n = 2844) und Psychosomatik (n = 1681) erfasst. Ergebnisse: Es ergeben sich unter Berücksichtigung von Moderatorvariablen je nach Effektgrößenmaß über alle Gruppen hinweg Werte zwischen d = 0,008 und d = 0,880 (standardized effect size), beziehungsweise zwischen d = 0,014 und d = 1,200 (standardized response mean). Zur Bewertung von Ergebnissen in Outcomestudien mit dem IRES-Patientenfragebogen werden Effektgrößen in Abhängigkeit von Moderatorvariablen in Perzentilen mitgeteilt. Schlussfolgerung: Die Effektgrößen in rehabilitationswissenschaftlichen Studien müssen in Abhängigkeit von verschiedenen Moderatorvariablen bewertet werden.

Abstract

Aims: In this study we estimated the impact of different calculations of effect sizes and moderator variables like sex, indication and age. Reporting effect sizes allows the description of mean differences independently from the sample size. Effect sizes are not calculated consistently so different methods of calculating effect sizes result in different values. We also discuss the implications of using Cohen's reference value with small, medium and large effect sizes for rehabilitation research. Patients and method: Different effect sizes for the IRES-questionnaire were calculated with the data of a meta-analysis (n = 7775). The subjective health status of patients at begin and end of inpatient rehabilitation in orthopedy (n = 3402), cardiology (n = 2844) and psychosomatic medicine (n = 1681) was measured. Results: In consideration of moderator variables over all groups effect sizes depending on calculate method arise between d = 0.008 and d = 0.880 (standardized effect size) and between d = 0.014 and d = 1.200 (standardized response mean). We propose reference values in order to judge studies for the IRES-questionnaire depending on moderators to measure effect sizes. Conclusion: Effect sizes must be evaluated dependent on moderator variables.

Effektgröße - Referenzwert - Standardized Response Mean (SRM) - Standardized Effect Size (SES) - Metaanalyse - Rehabilitation

Effect size - reference value - Standardized Response Mean (SRM) - Standardized Effect Size (SES) - meta-analysis - rehabilitation

Literatur

• 1 Bortz J. Statistik für Sozialwissenschaftler. Berlin; Springer 1999
• 2 Leonhart R. Lehrbuch Statistik. Bern; Huber 2004
• 3 Cohen J. Statistical Power Analysis for the Behavioral Sciences (2. ed). Hillsdale, New Jersey; Lawrence Erlbaum 1988
• 4 Rosenthal R, Rubin D B. r_equivalent: A simple effect size indicator.  Psychol Methods. 2003;  8 (4) 492-496
• 5 Frick R W. Defending the statistical status quo.  Theory Psychol. 1999;  9 (2) 183-189
• 6 Maier-Riehle B, Zwingmann C. Effektstärkevarianten beim Eingruppen-Prä-Post-Design: Eine kritische Betrachtung.  Rehabilitation. 2000;  39 189-199
• 7 Schuck P. Designs und Kennziffern zur Ermittlung der Änderungssensitivität von Fragebogen in der gesundheitsbezogenen Lebensqualitätsforschung.  Z Med Psychol. 2000;  3 125-130
• 8 Olejnik S, Algina J. Measures of effect size for comparative studies: Applications, interpretations, and limitations.  Contemp Educ Psychol. 2000;  25 241-286
• 9 Leonhart R. Effektgrößenberechnung bei Interventionsstudien.  Rehabilitation. 2004;  43 (4) 241-246
• 10 Kazis L, Anderson J, Meenan R. Effect sizes for interpreting changes in health status.  Med Care. 1989;  27 178-189
• 11 Hartmann A, Herzog T, Drinkmann A. Psychotherapy of Bulimia nervosa: What is effective? A meta-analysis.  J Psychosom Res. 1992;  36 159-167
• 12 Grawe K, Donati R, Bernauer F. Psychotherapie im Wandel: Von der Konfession zur Profession. Göttingen; Hogrefe 1994
• 13 Bortz J, Döring N. Forschungsmethoden und Evaluation für Sozialwissenschaftler (3. Aufl.). Berlin; Springer 2002
• 14 Gerdes N, Weidemann H, Jäckel W H (Hrsg). Die PROTOS-Studie. Ergebnisse stationärer Rehabilitation in 15 Kliniken der Wittgensteiner Kliniken-Allinat. Darmstadt; Steinkopff 2000
• 15 Gerdes N, Baum R, Greulich W, Schüwer U, Jäckel W H. Eingangsbelastungen der Patient(inn)en und Ergebnisqualität der Rehabilitation nach Schlaganfall.  Rehabilitation. 2003;  42 269-283
• 16 Farin E, Glattacker M, Follert P, Kuhl C, Jäckel W H. Effekte und Prädiktoren des Outcomes in der Rehabilitation muskuloskeletaler Erkrankungen.  Phys Med Rehab Kuror. 2004;  14 123-133
• 17 Glas G V, McGraw B, Smith M L. Meta-Analysis in social research. Beverly Hills; Sage 1981
• 18 Bengel J, Bührlen-Armstrong B, Gerdes N, Herdt J, Jäckel W, Löschmann C, Maurischat C, Willmann H, Zwingmann C. Rehabilitationswissenschaftlicher Forschungsverbund Freiburg - Bad Säckingen.  Rehabilitation. 1998;  37, Suppl 2 78-83
• 19 Verband Deutscher Rentenversicherungsträger .VDR Statistik Rehabilitation. Frankfurt; Verband Deutscher Rentenversicherungsträger 2004
• 20 Gerdes N, Jäckel W H. „Indikatoren des Reha-Status (IRES)” - Ein Patientenfragebogen zur Beurteilung von Rehabilitationsbedürftigkeit und -erfolg.  Rehabilitation. 1992;  31 73-79
• 21 Gerdes N, Jäckel W H. Der IRES-Fragebogen für Klinik und Forschung.  Rehabilitation. 1995;  34 XIII-XXIV
• 22 Bullinger M, Kirchberger I. Der SF-36 Fragebogen zum Gesundheitszustand, Handanweisung. Göttingen; Hogrefe 1998
• 23 Gerdes N, Weis J. Zur Theorie der Rehabilitation. In: Bengel J, Koch U (Hrsg) Grundlagen der Rehabilitationswissenschaften. Berlin; Springer 2000: 41-68
• 24 Zwingmann C. Der IRES-Patientenfragebogen. Regensburg; Roderer 2002
• 25 Kuhl H C, Farin E, Follert P. Die Messung von Rehabilitationsergebnissen mit dem IRES und dem SF-12 - Vor- und Nachteile unterschiedlich umfangreicher Erhebungsinstrumente in der Qualitätssicherung.  Phys Med Rehab Kuror. 2004;  14 (5) 236-242
• 26 Beaton D E, Hogg-Johnson S, Bombardier C. Evaluating changes in health status: Reliability and responsiveness of five generic health status measures in workers with musculoskeletal disorders.  J Clin Epidemiol. 1997;  50 (1) 79-93
• 27 Bührlen B. IRES - Indikatoren des Reha-Status. In: Schumacher J, Klaiberg A, Brähler E (Hrsg) Diagnostische Verfahren zu Lebensqualität und Wohlbefinden (Diagnostik für Klinik und Praxis, Bd. 2). Göttingen; Hogrefe 2003: 180-183
• 28 Schochat T, Pilz C, Neuner R. Der IRES-Fragebogen Version 3 (IRES-3) bei 1818 Rehabilitanden mit muskuloskeletalen Erkrankungen.  Rehabilitation. 2003;  42 (4) 236-244
• 29 Leonhart R, Maurischat C. Metaanalysen auf Primärdatenbasis - Probleme und Lösungsansätze.  Z Eval. 2004;  3 21-34
• 30 Merkesdal S, Busche T, Bauer J, Mau W. Changes in quality of life according to the SF36 health survey of persons with back pain six months after orthopaedic in- and outpatient rehabilitation.  Int J Rehabil Res. 2003;  26 (3) 183-189
• 31 Gerdes N, Jäckel W H, Bührlen B, Zwingmann E. Gesamte Stichprobe. In: Gerdes N, Weidemann H, Jäckel WH (Hrsg) Die PROTOS-Studie. Ergebnisqualität stationärer Rehabilitation in 15 Kliniken der Wittgensteiner Kliniken Allianz. Darmstadt; Steinkopff 2000: 75-82
• 32 Gerdes N. Rehabilitationseffekte bei „zielorientierter Ergebnismessung”. Ergebnisse der IRES-ZOE-Studie 1996/97.  Deutsche Rentenversicherung. 1998;  (3 - 4) 217-238
• 33 Gerdes N, Jäckel W H, Zwingmann E, Weidemann H. Methodik. In: Gerdes N, Weidemann H, Jäckel WH (Hrsg) Die PROTOS-Studie. Ergebnisqualität stationärer Rehabilitation in 15 Kliniken der Wittgensteiner Kliniken Allianz. Darmstadt; Steinkopff 2000: 11-32
• 34 Harwood R H, Ebrahim S. A comparison of the responsiveness of the nottingham extended activities of daily living scale, london handicap scale and SF-36.  Disabil Rehabil. 2000;  22 (17) 786-793
• 35 Beaton D E, Hogg-Johnson S, Bambardier C. Evaluating changes in health status: Reliability and responsiveness of five generic health status measures in workers with musculoskeletal disorders.  J Clin Epidemiol. 1997;  50 (1) 79-93
• 36 Kirschner S, Walther M, Böhm D, Matzer M, Heesen T, Faller H, König A. German short musculoskeletal function assessment questionnaire (SMFA-D): comparison with the SF-36 and WOMAC in a prospective evaluation in patients with primary osteoarthritis undergoing total knee arthroplasty.  Rheumatol Int. 2003;  23 (1) 15-20
• 37 Hüppe A, Raspe H. Die Wirksamkeit stationärer medizinischer Rehabilitation in Deutschland bei chronischen Rückenschmerzen: eine systematische Literaturübersicht 1980 - 2001.  Rehabilitation. 2003;  42 143-154
• 38 Putten J JNF van der, Hobart J C, Freeman J A, Thompson A J. Measuring change in disability after inpatient rehabilitation: comparison of the responsiveness of the barthel index and the functional independence measure.  J Neurol Neurosurg Psychiatr. 1999;  66 480-484
• 39 Maier-Riehle B, Härter M. Die Effektivität von Rückenschulen aus empirischer Sicht - Eine Metaanalyse.  Zeitschrift für Gesundheitspsychologie. 1996;  4 (3) 197-219
• 40 Maier-Riehle B, Härter M. The effects of back schools - a meta-analysis.  Int J Rehabil Res. 2001;  24 (3) 199-206
• 41 Kaluza G. Evaluation von Stressbewältigungstrainings in der primären Prävention - eine Metaanalyse (quasi-)experimenteller Feldstudien.  Zeitschrift für Gesundheitspsychologie. 1997;  5 149-169
• 42 Kaluza G, Schulze H H. Evaluation von Gesundheitsförderungsprogrammen - Methodische Stolpersteine und pragmatische Empfehlungen.  Zeitschrift für Gesundheitspsychologie. 2000;  8 (1) 18-24
• 43 Lipsey M W. Design sensitivity: Statistical power for experimental research. Newbury Park, Ca; Sage 1990

1 Bei bekannten Stichprobengrößen kann beispielsweise beim t-Test für unabhängige Gruppen aus einem exakten p-Wert die entsprechende Effektgröße ermittelt werden [4].

2 Diese Effektgröße wurde analog zur Effektgröße für unabhängige Stichproben vom zugehörigen t-Test abgeleitet.

3 Auf eine ausführliche Diskussion der Vor- und Nachteile der verschiedenen Streuungen wird an dieser Stelle verzichtet, da diese schon bei [6] [8] [9] erfolgt ist.

4 Der Rehabilitationswissenschaftliche Forschungsverbund Freiburg/Bad Säckingen (s. http://www.fr.reha-verbund.de; [18]) ist Teil des Förderschwerpunktes Rehabilitationswissenschaften (s. http://www.reha-verbund.de) und wird durch das Bundesministerium für Bildung und Forschung (BMBF/DLR) und die Deutsche Rentenversicherung (Verband Deutscher Rentenversicherungsträger, VDR) gefördert (01 GD 0101).