Analyse des Informationsgehalts von Merkmalseinschätzungen und Beurteilungsdaten

Zusammenfassung

In rehabilitationswissenschaftlichen Anwendungsgebieten werden wichtige Entscheidungen aufgrund von Beurteilungen und Einschätzungen durch z. B. Rehabilitanden, Therapeuten oder Peer-Reviewer getroffen. Beurteilungen desselben Sachverhalts (z. B. Qualität von Kommunikationsprozessen, Versorgungsqualität) variieren jedoch sowohl systematisch als auch zufallsbedingt: Merkmalseinschätzungen können z. B. davon abhängen, wer (einzelner Beurteiler) aus welcher Perspektive (z. B. Behandler- vs. Rehabilitandenperspektive) in welcher Situation zu welchem Messzeitpunkt welchen konkreten Aspekt beurteilt. In diesem Sinne spiegeln sich mehrere systematische Teilkomponenten in Beurteilungsdaten wider. Mittels der Generalisierbarkeitstheorie können sich überlagernde Informationskomponenten getrennt und hinsichtlich ihrer Bedeutsamkeit für die Beurteilungsergebnisse identifiziert werden. Hierdurch entsteht zum einen ein differenziertes Bild, welche Informationsanteile für die angemessene Interpretation von Beurteilungsdaten berücksichtigt werden müssen (Generalisierbarkeitsaspekt). Zum anderen kann begründet werden, wie Beurteilungssituationen gestalten werden sollten, damit die interessierenden Teilinformationen zuverlässig bestimmt werden können (Entscheidungsaspekt). In diesem Beitrag wird für typische Anwendungen in den Rehabilitationswissenschaften gezeigt, wie die Generalisierbarkeitstheorie zum besseren Verständnis und zur Optimierung von Beurteilungsdaten genutzt werden kann.

Abstract

In rehabilitation, decisions are often based on ratings or judgements made by rehabilitation patients, therapists or peer-reviewers. But, depending on aspects of the assessment setting, ratings of an issue (e. g., quality of communication, quality of health care) may vary systematically or due to stochastic error components. Rating scores may be affected by the properties of the rater, raters’ perspective (e. g., self- vs. external ratings), rating situation or measurement point in time, respectively. Hence, rating scores should be considered as composite scores comprising several systematic information aspects. Generalizability theory provides an analytical framework allowing to decompose underlying information facets and to determine their influence on the obtained rating data. First, a differentiated model can be identified ensuring a more valid data interpretation (generalizability aspect). Second, well-founded recommendations enhancing reliability and validity of the assessment may be derived (decision aspect). In this article we demonstrate how to apply generalizability theory to enhance the clarity of the informational content of ratings and to foster rating quality in typical rehabilitation settings.

Schlüsselwörter

Beurteilungsdaten - Beurteilungsfehler - Beurteilertraining - Generalisierbarkeitstheorie - Interraterreliabilität

Key words

rating data - rating biases - rater training - generalizability theory - interrater reliability

Publication History

Article published online:
25 October 2019

• Literatur

• 1 Brennan RL. Generalizability theory. New York, NY: Springer; 2001
• 2 Cronbach LJ, Rajaratnam N, Gleser GC. Theory of generalizability: A liberalization of reliability theory. Br J Math Stat Psychol 1963; 16: 137-163. doi:10.1111/j.2044-8317.1963.tb00206.x
• 3 Cone JD. The relevance of reliability and validity for behavioral assessment. Behav Ther 1977; 8: 411-426. doi:10.1016/S0005-7894(77)80077-4
• 4 Lienert GA, Raatz U. Testaufbau und Testanalyse. Weinheim: Beltz; 1994
• 5 Wirtz MA, Caspar F. Beurteilerübereinstimmung und Beurteilerreliabilität. Göttingen: Hogrefe; 2002
• 6 Wirtz MA. Bestimmung der Güte von Beurteilereinschätzungen mittels der Intraklassenkorrelation und Verbesserung von Beurteilereinschätzungen. Rehabilitation 2004; 43: 384-389 doi:10.1055/s-2003-814935
• 7 Wirtz MA, Böcker M. Das Rasch-Modell – Eigenschaften und Nutzen für die diagnostische Praxis. Rehabilitation 2007; 46: 238-245 doi:10.1055/s-2007-971068
• 8 Schuler M, Jelitte M. Messen wir bei allen Personen das Gleiche? Zur Invarianz von Messungen und Response Shift in der Rehabilitation - Teil 1. Rehabilitation 2012; 51: 332-339 doi:10.1055/s-0031-1291313
• 9 Jelitte M, Schuler M. Messen wir immer das Gleiche? Zur Invarianz von Messungen und Response-Shift in der Rehabilitation – Teil 2. Rehabilitation 2012; 51: 415-423. doi:10.1055/s-0031-1295447
• 10 Gleser GC, Cronbach LJ, Rajaratnam N. Generalizability of Scores Influenced by Multiple Sources of Variance. Psychometrika 1965; 30: 395-418 doi:10.1007/BF02289531
• 11 Wirtz MA, Bengel J. Assessment in der Rehabilitation.In Hornke L, Amelang M, Kersting M, (Hrsg.). Enzyklopädie der Psychologie, Psychologische Diagnostik. Band 1 Göttingen: Hogrefe. 2011: 441–477
• 12 Greve W, Wentura D. Wissenschaftliche Beobachtung. Weinheim: Beltz; 1997
• 13 Shavelson RJ, Webb NM. Generalizability theory: A primer. Newbury Park. CA. Sage; 1991
• 14 Eid M, Gollwitzer M, Schmitt M. Statistik und Forschungsmethoden. Beltz; Weinheim: 2015
• 15 Hoyt WT. Rater bias in psychological research: When is it a problem and what can we do about it?. Psychol Methods 2000; 5: 64-86 doi:10.1037/1082-989X.5.1.64
• 16 Trost A, Bungard W. Die Interraterreliabilität von Ergebnissen in Mitarbeiterbefragungen. Z Arb Organ 2004; 48: 122-131 doi:10.1026/0932-4089.48.3.122
• 17 Wasserman RH, Levy KN, Loken E. Generalizability theory in psychotherapy research: The impact of multiple sources of variance on the dependability of psychotherapy process ratings. Psychoth Res 2009; 19: 397-408 doi:10.1080/10503300802579156
• 18 Smith PL. Sampling Errors of Variance Components in Small Sample Multifacet Generalizability Studies. J Educ Stat 1978; 3: 319-346 doi:10.3102/10769986003004319
• 19 Swiss Society for Research in Education Working Group. EDUG user guide. Neuchatel: IRDP 2006
• 20 Crick JE, Brennan RL. GENOVA: A generalized analysis of variance system [Computer software and manual]. Iowa City: University of Iowa; 1983