Zielorientierte Ergebnismessung (ZOE) mit dem IRES-Patientenfragebogen: Eine kritische Zwischenbilanz

Zusammenfassung

Im vorliegenden Beitrag wird kritisch zur „Zielorientierten Ergebnismessung (ZOE)” Stellung genommen. Beim ZOE-Verfahren handelt es sich um eine von Gerdes (1998) am Beispiel des IRES-Patientenfragebogens vorgeschlagene neue Variante einer individualisierten Ergebnismessung zur Anwendung in der Rehabilitationsforschung. Nach einer Darstellung des Rationals werden zunächst Abgrenzungen zu bisherigen individualisierten Evaluationsansätzen vorgenommen, insbesondere zum Goal Attainment Scaling und zur Methode der Patient Preferences. Anschließend werden wichtige methodische Problempunkte der Zielorientierten Ergebnismessung erläutert. Diese betreffen die unzureichend belegte Validität der Festlegung relevanter Problembereiche, den möglichen artifiziellen Einfluss der Regression zur Mitte, methodische Probleme hinsichtlich des ZOE-Summenscores, die mögliche Reaktivität, mögliche Veränderungen hinsichtlich der Relevanz von Problembereichen, mögliche Verschlechterungen in nicht ausgewählten Problembereichen sowie schließlich die Vielzahl unterschiedlicher Teilstichproben und die teilweise geringen Fallzahlen in diesen Teilstichproben. Insgesamt muss das Verfahren der Zielorientierten Ergebnismessung damit als erheblich weiterentwicklungsbedürftig angesehen werden.

Abstract

This paper gives a critical view on „Goal Oriented Measurement” (ZOE, Zielorientierte Ergebnismessung) with the IRES (Indicators of Rehabilitation Status) questionnaire. Gerdes (1998) proposed this method for individualizing outcome measurement in rehabilitation research. The rationale of Goal Oriented Measurement is described and differentiated from Goal Attainment Scaling and Patient Preferences. Subsequently, important shortcomings of Goal Oriented Measurement are pointed out: insufficient validity with regard to selecting clinically relevant problems, possible regression artifacts, unsuitably aggregated scores, possible reactivity, possible changes of individual problems, possible deteriorations in problems not initially selected, and plurality as well as small size of subsamples. Overall, Goal Oriented Measurement has to undergo substantial improvement.

Zielorientierte Ergebnismessung - IRES-Fragebogen - Goal Attainment Scaling (GAS) - Patient Preferences - individualisierte Fragebogen - Regression zur Mitte

Goal Oriented Measurement (ZOE) - IRES (Indicators of Rehabilitation Status) questionnaire - Goal Attainment Scaling (GAS) - patient preferences - individualized questionnaires - regression to the mean

Literatur

• 1 Barr S, Bellamy N, Buchanan W W, Chalmers A, Ford P M, Kean W F, Kraag G R, Gerecz-Simon E, Campbell J. A comparative study of signal versus aggregate methods of outcome measurement based on the WOMAC Osteoarthritis Index.  Journal of Rheumatology. 1994;  21 2106-2112
• 2 Bellamy N, Buchanan W W, Goldsmith C H, Campbell J, Duku E. Signal measurement strategies: Are they feasible and do they offer any advantage in outcome measurement in osteoarthritis?.  Arthritis and Rheumatism. 1990;  33 739-745
• 3 Beurskens A JHM, de Vet H CW, Köke A JA. Responsiveness of functional status in low back pain: A comparison of different instruments.  Pain. 1996;  65 71-76
• 4 Beutler L E, Hamblin D L. Individualized outcome measures of internal change: Methodological considerations.  Journal of Consulting and Clinical Psychology. 1986;  54 48-53
• 5 Bland J M, Altman D G. Statistic Notes: Regression towards the mean.  British Medical Journal. 1994;  308 1499
• 6 Blomqvist N. On the correlation between change and initial value.  Journal of the American Statistical Association. 1977;  72 746-749
• 7 Breuer F. Zur Struktur und Bedeutung von Zielen im Prozeß psychologischer Beratung und Therapie. In: Kleiber D (Hrsg) Handlungstheorie in der Anwendung. Beiträge aus dem Bereich der klinischen und pädagogischen Psychologie. Tübingen; Deutsche Gesellschaft für Verhaltenstherapie 1981: 28-68
• 8 Buchbinder R, Bombardier C, Yeung M, Tugwell P. Which outcome measure should be used in rheumatoid arthritis clinical trials? Clinical and quality-of-life measures’ responsiveness to treatment in a randomized controlled trial.  Arthritis and Rheumatism. 1995;  38 1568-1580
• 9 Bührlen B, Gerdes N, Jäckel W H. Operationalisierung von Therapiezielen für die Überprüfung der Zielerreichung in der Rehabilitation. Unveröffentl. Abschlussbericht. Bad Säckingen; Hochrhein-Institut für Rehabilitationsforschung 2002
• 10 Bundesarbeitsgemeinschaft für Rehabilitation (Hrsg) Rehabilitation Behinderter. Schädigung - Diagnostik - Therapie - Nachsorge. Wegweiser für Ärzte und weitere Fachkräfte der Rehabilitation. 2. Aufl. Köln; Deutscher Ärzte-Verlag 1994
• 11 Calsyn R, Davidson W. Do we really want a program evaluation strategy based solely on individualized goals? A critique of GAS. In: Cook TD (Hrsg) Evaluation Studies Review Annual, Vol. 3. Beverly Hills, CA; Sage 1978: 700-713
• 12 Campbell D T, Kenny D A. A primer on regression artifacts. New York; Guilford 1999
• 13 Carr A J. A patient-centered approach to evaluation and treatment in rheumatoid arthritis: The development of a clinical tool to measure patient-perceived handicap.  British Journal of Rheumatology. 1996;  35 921-932
• 14 Chen S, Cox C. Use of baseline data for estimation of treatment effects in the presence of regression to the mean.  Biometrics. 1992;  48 593-598
• 15 Cook T D, Campbell D T. Quasi-Experimentation - design and analysis issues for field settings. Chicago, IL; Rand McNally 1979
• 16 Cytrynbaum S, Ginath Y, Birdwell J, Brandt L. Goal Attainment Scaling. A critical review.  Evaluation Quarterly. 1979;  3 5-40
• 17 Davis C E. Regression to the mean. In: Johnson NL, Kotz S (Hrsg) Encyclopedia of statistical sciences, Vol. 8. New York; Wiley 1986: 706-708
• 18 Fischer J, Raschke F. Zielorientierte Messung von kurz-, mittel- und langfristigen Effekten in der pneumologischen Rehabilitation.  Pneumologie. 2000;  54 458-463
• 19 Flett G L, Vredenburg K, Krames L. The stability of depressive symptoms in college students: An empirical demonstration of regression to the mean.  Journal of Psychopathology and Behavioral Assessment. 1995;  17 403-415
• 20 Furby L. Interpreting regression toward the mean in developmental research.  Developmental Psychology. 1973;  8 172-179
• 21 Galano J. Treatment effectiveness as a function of client involvement in goal setting and goal planning.  Goal Attainment Review. 1977;  3 17-32
• 22 Gardner M J, Heady J A. Some effects of within-person variability in epidemiological studies.  Journal of Chronic Diseases. 1973;  26 781-795
• 23 Garwick G. Advanced topics in GAS. Minneapolis, MN; Program Evaluation Resource Center 1977
• 24 George V, Johnson W D, Shahane A, Nick T G. Testing for treatment effect in the presence of regression toward the mean.  Biometrics. 1997;  53 49-59
• 25 Gerdes N. Rehabilitationseffekte bei „zielorientierter Ergebnismessung”. Ergebnisse der IRES-ZOE-Studie 1996/97.  Deutsche Rentenversicherung. 1998;  (3-4) 217-238
• 26 Gerdes N, Bengel J, Jäckel W H. Zielorientierung in Diagnostik, Therapie und Ergebnismessung. In: Bengel J, Jäckel WH (Hrsg) Zielorientierung in der Rehabilitation. Rehabilitationswissenschaftlicher Forschungsverbund Freiburg/Bad Säckingen. Regensburg; Roderer 2000: 3-12
• 27 Gerdes N, Jäckel W H. Der IRES-Fragebogen für Klinik und Forschung.  Rehabilitation. 1995;  34 XIII-XXIV
• 28 Gerdes N, Jäckel W H, Zwingmann E, Weidemann H. Methodik. In: Gerdes N, Weidemann H, Jäckel WH (Hrsg) Die PROTOS-Studie. Ergebnisqualität stationärer Rehabilitation in 15 Kliniken der Wittgensteiner Kliniken Allianz. Darmstadt; Steinkopff 2000: 11-32
• 29 Gerdes N, Klosterhuis H, Haug G, Holme M, Jäckel W H. Erfolge der Rehabilitation aus Sicht von Arzt und Patient. Ein Modellprojekt in zwei Rehabilitationskliniken der BfA.  Angestelltenversicherung. 2002;  (3) 113-122
• 30 Gerdes N, Zwingmann E. Analyse der Zielauswahl. In: Gerdes N, Weidemann H, Jäckel WH (Hrsg) Die PROTOS-Studie. Ergebnisqualität stationärer Rehabilitation in 15 Kliniken der Wittgensteiner Kliniken Allianz. Darmstadt; Steinkopff 2000: 65-73
• 31 Gittler G, Wild B. Der Einsatz des LLTM bei der Konstruktion eines Itempools für das adaptive Testen. In: Kubinger KD (Hrsg) Moderne Testtheorie - Ein Abriß samt neuesten Beiträgen. 2. Aufl. Weinheim; Beltz 1989: 115-139
• 32 Healy M JR, Goldstein H. Regression to the mean.  Annals of Human Biology. 1978;  5 277-280
• 33 Heuft G, Senf W (Hrsg) Praxis der Qualitätssicherung in der Psychotherapie: Das Manual zur Psy-BaDo. Stuttgart; Thieme 1998
• 34 Hickey A M, Bury G, O’Boyle C A, Bradley F, O’Kelly F D, Shannon W. A new short form individual quality of life measure (SEIQoL-DW): Application in a cohort of individuals with HIV/AIDS.  British Medical Journal. 1996;  313 29-33
• 35 Houts P, Scott R. Goal planning in mental health rehabilitation.  Goal Attainment Review. 1976;  2 33-51
• 36 Hsu L M. Reliable changes in psychotherapy: Taking into account regression toward the mean.  Behavioral Assessment. 1989;  11 459-467
• 37 Hsu L M. Regression toward the mean associated with measurement error and the identification of improvement and deterioration in psychotherapy.  Journal of Consulting and Clinical Psychology. 1995;  63 141-144
• 38 Jäckel W H, Gerdes N, Kühn K, Rehberg W, Schochat T. Qualitätsprofile der Kliniken der AOK-Klinik GmbH. Abschlussbericht. Freiburg/Bad Säckingen; Universität Freiburg/Hochrhein-Institut für Rehabilitationsforschung 1999
• 39 Jacob R G, Shapiro A P. Is the effect of stress management on blood pressure just regression to the mean?.  Homeostasis. 1994;  35 113- 119
• 40 James K E. Regression toward the mean in uncontrolled clinical studies.  Biometrics. 1973;  29 121-130
• 41 Johnson W D, George V T. Effect of regression to the mean in the presence of within-subject variability.  Statistics in Medicine. 1991;  10 1295-1302
• 42 Juniper E F, Guyatt G H, Jaeschke R. How to develop and validate a new quality of life instrument. In: Spilker B (Hrsg) Quality of life and pharmacoeconomics in clinical trials. 2nd ed. Philadelphia, PA; Lippincott-Raven 1996: 49-56
• 43 Kanfer F H, Reinecker H, Schmelzer D. Selbstmanagement-Therapie. Ein Lehrbuch für die klinische Praxis. Berlin; Springer 1991
• 44 Karlson E W, Katz J N, Liang M H. Chronic rheumatic disorders. In: Spilker B (Hrsg) Quality of life and pharmacoeconomics in clinical trials. 2nd ed. Philadelphia, PA; Lippincott-Raven 1996: 1029-1037
• 45 Kim H. Regression of lateral asymmetry scores toward the mean.  Cortex. 1994;  30 331-341
• 46 Kiresuk T J, Lund S. Goal Attainment Scaling: Research, evaluation, and utilization. In: Schulberg H, Baker F (Hrsg) Program evaluation in the health fields, Vol. 2. New York; Human 1979: 341-370
• 47 Kiresuk T J, Sherman R. Goal Attainment Scaling: A general method of evaluating comprehensive mental health programs.  Community Mental Health Journal. 1968;  4 443-453
• 48 Kiresuk TJ, Smith A, Cardillo JE (Hrsg) Goal Attainment Scaling: Applications, theory, and measurement. Hillsdale, NJ; Erlbaum 1994
• 49 Koch U, Haag G. Rehabilitation als Hilfe zur Bewältigung der Behinderung. Eine Problemanalyse des Rehabilitationswesens am Beispiel eines Herzinfarktpatienten. Praxis der Klinischen Verhaltensmedizin und Rehabilitation 1988 1 55-65
• 50 Kordy H. Das Konzept der Klinischen Signifikanz in der Psychotherapieforschung. In: Strauß B, Bengel J (Hrsg) Forschungsmethoden in der Klinischen Psychologie. Jahrbuch der Medizinischen Psychologie, Bd. 14. Göttingen; Hogrefe 1997: 129-145
• 51 Kordy H, Hannöver W. Zur Evaluation psychotherapeutischer Behandlungen anhand individueller Therapieziele. In: Ambühl H, Strauß B (Hrsg) Therapieziele. Göttingen; Hogrefe 1999: 75-90
• 52 Kordy H, Scheibler D. Individuumsorientierte Erfolgsforschung: Erfassung und Bewertung von Therapieeffekten anhand individueller Behandlungsziele. Teil 1: Gibt es in der Ergebnisforschung eine „Lücke” für individuumsorientierte Verfahren?.  Zeitschrift für Klinische Psychologie, Psychopathologie und Psychotherapie. 1984;  32 218-233
• 53 Kubinger K D. Methoden der Psychologischen Diagnostik. In: Erdfelder E, Mausfeld R, Meiser T, Rudinger G (Hrsg) Handbuch Quantitative Methoden. Weinheim; Psychologie Verlags Union 1996: 567-576
• 54 Lambert M J. Use of psychological test for outcome assessment. In: Maruish ME (Hrsg) The use of psychological testing for treatment planning and outcome assessment. Hillsdale, NJ; Erlbaum 1994: 75-97
• 55 Maier-Riehle B, Zwingmann C. Effektstärkevarianten beim Eingruppen-Prä-Post-Design: Eine kritische Betrachtung.  Rehabilitation. 2000;  39 189-199
• 56 Maurischat C, Löschmann C, Herdt J, Jäckel W H, Bengel J. Forschungsmethodische Beratung, Zielorientierung und Wissenstransfer. In: Bengel J, Jäckel WH (Hrsg) Zielorientierung in der Rehabilitation. Rehabilitationswissenschaftlicher Forschungsverbund Freiburg/Bad Säckingen. Regensburg; Roderer 2000: 23-36
• 57 Merkesdal S, Bernitt K, Busche T, Bauer J, Mau W. Zielorientierte Ergebnismessung bei stationärer oder teilstationärer orthopädisch-rheumatologischer Rehabilitation von Personen mit Dorsopathien.  Rehabilitation. 1999;  38 (Suppl 1) S37-S43
• 58 Moser M T, Weis J, Fachinger D, Bartsch H H. Zielorientierte Ergebnismessung: Rehabilitationsziele, Interraterübereinstimmung und Effektmaße in der onkologischen Rehabilitation. In: Verband Deutscher Rentenversicherungsträger (Hrsg) Tagungsband, 9. Rehabilitationswissenschaftliches Kolloquium - Individualität und Reha-Prozess - vom 13. bis 15. März 2000 in Würzburg. DRV-Schriften, Bd. 20. Frankfurt/Main; VDR 2000: 345-347
• 59 Nesselroade J, Stigler S, Baltes P. Regression toward the mean and the study of change.  Psychological Bulletin. 1980;  88 622-637
• 60 Nübling R, Schmidt J. Methodische Grundlagen der Ergebnisevaluation. In: Bengel J, Koch U (Hrsg) Grundlagen der Rehabilitationswissenschaften. Themen, Strategien und Methoden der Rehabilitationsforschung. Berlin; Springer 2000: 323-346
• 61 Ottenbacher K J, Cusick A. Discriminative versus evaluative assessment: Some observations on Goal Attainment Scaling.  American Journal of Occupational Therapy. 1993;  47 349-354
• 62 Paterson C. Measuring outcomes in primary care: A patient generated measure, MYMOP, compared with the SF-36 health survey.  British Medical Journal. 1996;  312 1016-1020
• 63 Raykov T. Studying true change patterns via structural equation modeling. In: Steyer R, Wender KF, Widaman KF (Hrsg) Psychometric methodology. Proceedings of the 7th European Meeting of the Psychometric Society in Trier. Stuttgart; Fischer 1993: 430-434
• 64 Roecken S. Goal Attainment Scaling - eine Methode zur Evaluation psychotherapeutischer Maßnahmen. Forschungsberichte des Psychologischen Instituts, Nr. 14. Freiburg; Universität Freiburg 1984
• 65 Roecken S, Weis J. Erfahrungen bei der Anwendung von Goal Attainment Scaling (GAS) in der Evaluation einer psychiatrischen Übergangseinrichtung.  Zeitschrift für Klinische Psychologie. 1987;  16 158-173
• 66 Rogosa D. Myths about longitudinal research. In: Schaie KW, Campbell RT, Rawlings SC (Hrsg) Methodological issues in aging research. New York; Springer 1988: 171-209
• 67 Rogosa D, Brandt D, Zimowski M. A growth curve approach to the measurement of change.  Psychological Bulletin. 1982;  92 726-748
• 68 Rogosa D, Willett J B. Understanding correlates of change by modeling individual differences in growth.  Psychometrika. 1985;  50 203-228
• 69 Schäfer H, Herdt J, Herrmann J M, Geigges W. Veränderungen von Belastungen bei Brustkrebs-Patientinnen während einer stationären Rehabilitation.  Praxis Klinische Verhaltensmedizin und Rehabilitation. 2001;  14 (56) 307-322
• 70 Schmidt J, Karcher S, Steffanowski A, Nübling R, Wittmann W W. Die EQUA-Studie - Erfassung der Ergebnisqualität stationärer psychosomatischer Rehabilitationsbehandlungen. In: Bengel J, Jäckel WH (Hrsg) Zielorientierung in der Rehabilitation. Rehabilitationswissenschaftlicher Forschungsverbund Freiburg/Bad Säckingen. Regensburg; Roderer 2000: 109-118
• 71 Scholz O B. Therapieplanung des Einzelfalles. Voraussetzungen, Methoden, Anwendungen. In: Petermann F (Hrsg) Einzelfallanalyse. 2. Aufl. München; Oldenbourg 1989: 264-283
• 72 Schulte-Bahrenberg T. Therapieziele, Therapieprozeß und Therapieerfolg. Pfaffenweiler; Centaurus 1990
• 73 Scott A H, Haggarty E J. Structuring goals via goal attainment scaling in occupational therapy groups in a partial hospitalization setting.  Occupational Therapy in Mental Health. 1984;  4 39-58
• 74 Seaberg J R, Gillespie D F. Goal attainment scaling - a critique.  Social Work Research and Abstracts. 1977;  13 4-9
• 75 Senn S J, Brown R A. Maximum likelihood estimation of treatment effects for samples subject to regression to the mean.  Communications in Statistics, Theory and Methods. 1989;  18 3389-3406
• 76 Smith A, Cardillo J, Smith S, Amezaga A. Improvement scaling (rehabilitation version). A new approach to measuring progress of patients in achieving their individual rehabilitation goals.  Medical Care. 1998;  36 333-347
• 77 Speer D C. Clinically significant change: Jacobson and Truax (1991) revisited.  Journal of Consulting and Clinical Psychology. 1992;  60 402-408
• 78 Speer D C. Correction to Speer.  Journal of Consulting and Clinical Psychology. 1993;  61 27
• 79 Stallmann M. Statistisch-methodische Anmerkungen zum epidemiologischen Arbeitsunfähigkeitstrend.  Gesundheitswesen. 1996;  58 303-310
• 80 Stelzl I. Testtheoretische Modelle. In: Tent L, Stelzl I (Hrsg) Pädagogisch-psychologische Diagnostik, Bd. 1: Theoretische und methodische Grundlagen. Göttingen; Hogrefe 1993: 39-201
• 81 Steyer R, Hannöver W, Telser C, Kriebel R. Zur Evaluation intraindividueller Veränderung.  Zeitschrift für Klinische Psychologie. 1997;  26 291-299
• 82 Stier R, Gerdes N, Bührlen B, Haaf H G, Jäckel W H. „Rekonditionierung in Gruppen” - Ein wirksames Rehabilitationsprogramm bei chronischen Rückenschmerzen?.  Rehabilitation. 2001;  40 321-331
• 83 Szatmari P, Streiner D L. The effect of selection criteria on outcome studies of children with pervasive developmental disorders (PDD).  European Child and Adolescent Psychiatry. 1995;  5 179-184
• 84 Tugwell P, Bombardier C, Bell M, Bennett K, Bensen W, Grace E, Hart L, Goldsmith C H. Current quality of life research challenges in arthritis relevant to the issue of clinical significance.  Controlled Clinical Trials. 1991;  12 (Suppl 4) 217S-225S
• 85 Tugwell P, Bombardier C, Buchanan W W, Goldsmith C H, Grace E, Bennett K, Williams H J, Egger M, Alarcon G S, Guttadauria M, Yarboro C, Polisson R P, Szydlo L, Luggen M E, Billingsley L M, Ward J R, Marks C. Methotrexate in rheumatoid arthritis: Impact on quality of life assessed by traditional standard-item and individualized patient preference health status questionnaires.  Archives of Internal Medicine. 1990;  150 59-62
• 86 Tugwell P, Bombardier C, Buchanan W W, Goldsmith C H, Grace E, Hanna B. The MACTAR patient preference disability questionnaire - An individualized functional priority approach for assessing improvement in physical disability in clinical trials in rheumatoid arthritis.  Journal of Rheumatology. 1987;  14 446-451
• 87 Vagt G. Korrektur von Regressions-Effekten in Behandlungs-Experimenten.  Zeitschrift für Experimentelle und Angewandte Psychologie. 1976;  23 284-296
• 88 Vogel H, Tuschhoff T. Die Erfassung von Behandlungsergebnissen in der Rehabilitation.  Mitteilungen der LVA Württemberg. 1994;  86 139-143
• 89 Vogel H, Tuschhoff T, Zillessen E. Die Definition von Rehabilitationszielen als Herausforderung für die Qualitätssicherung.  Deutsche Rentenversicherung. 1994;  (11) 751-764
• 90 Weis J, Moser M T, Fachinger D, Bartsch H H. Zielorientierte Evaluation von Maßnahmen der stationären onkologischen Rehabilitation - Multizenterstudie ZESOR. In: Bengel J, Jäckel WH (Hrsg) Zielorientierung in der Rehabilitation. Rehabilitationswissenschaftlicher Forschungsverbund Freiburg/Bad Säckingen. Regensburg; Roderer 2000: 177-188
• 91 Weis J, Potreck-Rose F. Möglichkeiten und Grenzen des Goal Attainment Scaling in der klinischen Forschung. In: Lamprecht F (Hrsg) Spezialisierung und Integration in Psychosomatik und Psychotherapie. Berlin; Springer 1987: 243-252
• 92 Wertz C E, Hilton T L. Intellectual status and intellectual growth, again.  American Educational Research Journal. 1977;  14 137-146
• 93 Wertz C E, Linn R L, Jöreskog K G. A simplex model for analyzing academic growth.  Educational and Psychological Measurement. 1977;  37 745-756
• 94 Whitney C W, von Korff M. Regression to the mean in treated versus untreated chronic pain.  Pain. 1992;  50 281-285
• 95 Zwingmann C. Der IRES-Patientenfragebogen. Psychometrische Reanalysen an einem rehabilitationsspezifischen Assessmentinstrument. Regensburg; Roderer 2002
• 96 Zwingmann C, Gerdes N, Jäckel W H. Ergebnismessung in der Rehabilitation zwischen allgemeinen und individualisierten Ansätzen. In: Verband Deutscher Rentenversicherungsträger (Hrsg) Tagungsband, 9. Rehabilitationswissenschaftliches Kolloquium - Individualität und Reha-Prozess - vom 13. bis 15. März 2000 in Würzburg. DRV-Schriften, Bd. 20. Frankfurt/Main; VDR 2000: 30-31
• 97 Zwingmann C, Schuck P, Reusch A, Faller H. Regressionsartefakte im Eingruppen-Prä-Post-Design. In: Verband Deutscher Rentenversicherungsträger (Hrsg) Tagungsband, 10. Rehabilitationswissenschaftliches Kolloquium - Wissenstransfer zwischen Forschung und Praxis - vom 12. bis 14. März 2001 in Halle/Saale. DRV-Schriften, Bd. 26. Frankfurt/Main; VDR 2001: 153-154
• 98 Zwingmann C, Spiegel J, Gerdes N, Jäckel W H. Operationalisierung von Therapiezielen: Entwicklung eines Arztbogens und eines Funktionstests. In: Verband Deutscher Rentenversicherungsträger (Hrsg) Tagungsband, 9. Rehabilitationswissenschaftliches Kolloquium - Individualität und Reha-Prozess - vom 13. bis 15. März 2000 in Würzburg. DRV-Schriften, Bd. 20. Frankfurt/Main; VDR 2000: 177-179
• 99 Zwingmann E, Gerdes N. Manual der WKA-Studie 1996/1997. Unveröffentl. Manuskript. Bad Säckingen; Hochrhein-Institut für Rehabilitationsforschung 1996