Messen wir bei allen Personen das Gleiche? Zur Invarianz von Messungen und Response Shift in der Rehabilitation – Teil 1^[*]

Zusammenfassung

In der Rehabilitationsforschung werden häufig subjektiv-psychologische Konstrukte (z. B. gesundheitsbezogene Lebensqualität) untersucht. Dabei wird meist davon ausgegangen, dass sich solche Konstrukte im Falle querschnittlicher Vergleichsstudien zwischen verschiedenen Gruppen oder im Zeitverlauf bei längsschnittlicher Untersuchung an einer Stichprobe lediglich in ihrer quantitativen Ausprägung unterscheiden, nicht jedoch in qualitativer Hinsicht. Z. B. wird häufig implizit angenommen, dass gesunde und erkrankte Personen unter „Lebensqualität“ das Gleiche verstehen und folglich werden nur quantitative Unterschiede im Ausmaß der Lebensqualität untersucht. Die Annahme der qualitativen Stabilität ist jedoch nicht ohne weiteres haltbar und wird unter dem Begriff der Invarianz beziehungsweise Äquivalenz von Messungen theoretisch diskutiert. Die empirische Prüfung der Invarianz wird unter anderem mittels auf der konfirmatorischen Faktorenanalyse beruhenden Ansätzen durchgeführt. Mit diesen Verfahren kann untersucht werden, ob und in welcher Form bezüglich der untersuchten Konstrukte von qualitativen Unterschieden zwischen Gruppen oder qualitativen Veränderungen im Zeitverlauf („Response Shift“) auszugehen ist. Sind solche Unterschiede in Quer- oder Längsschnittstudien nachweisbar, ist der Vergleich von aufsummierten Skalenwerten infrage zu stellen. Ausgehend von den statistischen Grundlagen eines Messmodells lässt sich prüfen, ob verschiedene Parameter (Faktorladungen, Intercepts, Messfehler) in unterschiedlichen Vergleichsgruppen konstante Werte aufweisen. Es gibt verschiedene Stufen der Invarianz, die von der Anzahl und Art der konstant gehaltenen Parameter abhängen. In diesem Artikel werden das Prinzip und die technische Durchführung eines faktorenanalytischen Verfahrens zur Invarianzprüfung im Querschnittsvergleich am Beispiel der gesundheitsbezogenen Lebensqualität illustriert. Methodische und inhaltliche Aspekte, die sich aus fehlender Invarianz ergeben, werden diskutiert. Im Folgeartikel (Teil 2) wird die Methode im Längsschnitt vorgestellt und im Kontext der Response-Shift-Forschung betrachtet.

Abstract

Subjective constructs like health-related quality of life are often investigated in scientific surveys in rehabilitation science, usually assuming that such constructs would be equally defined between different groups in case of cross-sectional control group designs or across time in longitudinal study designs with or without control-groups. Differences between measurements of these constructs were expected to occur only regarding quantity but not regarding quality. However, this assumption cannot be expected to apply in every case and it is discussed from a theoretical angle under the terms of invariance or equivalence of measurements. Confirmatory factor analysis-based approaches are suitable to investigate measurement invariance empirically and will be described in this article. These statistical methods are applicable to test whether qualitative differences in constructs exist between several groups or time points (response shift) and what these differences mean. If measurement invariance cannot be held, comparisons of sum scores, which are often used in rehabilitation science, have to be considered to be questionable. On the basis of a measurement model specific parameters (regression weights, intercepts, measurement errors) can be analyzed both between comparison groups and over time. Different kinds of measurement invariance exist, depending on the statistical definition of parameters which are proven to be equal, and the extent of differences between models. The application of confirmatory factor analysis to test measurement invariance in a cross-sectional design will be described in this article on the example of quality of life data from inpatient rehabilitation. Methodological and substantive aspects which arise if measurement invariance is disproved will be discussed. In a companion article (Jelitte & Schuler, in press) the method will be described for a longitudinal study design and results will be discussed in the context of response shift research.

Schlüsselwörter

Invarianz von Messungen - Response Shift - konfirmatorische Faktorenanalyse - gesundheitsbezogene Lebensqualität

Key words

measurement invariance - response shift - confirmatory factor analysis - health related quality of life

^*

^* Koordinatoren der Reihe „Methoden in der Rehabilitationsforschung“: Prof. Dr. Dr. Hermann Faller, Würzburg: Prof. Dr. Thomas Kohlmann, Greifswald: Prof. Dr. Dr. Christian Zwingmann, Bochum Interessenten, die einen Beitrag zur Reihe beisteuern möchten, werden gebeten, vorab Kontakt aufzunehmen, E-Mail: [e-mail].

• Literatur

• 1 Millsap RE. Statistical Approaches to Measurement Invariance. 12.. Aufl. New York, NY u. a.: Psychology Press; 2011
• 2 Millsap RE, Meredith W. Factorial invariance: Historical perspectives and new problems. In: Cudeck R, MacCallum R. Hrsg Factor analysis at 100: historical developments and future directions. Mahwah, NJ: Lawrence Erlbaum; 2007: 131-152
• 3 Vandenberg RJ, Lance CE. A review and synthesis of the measurement invariance literature: Suggestions, practices, and recommendations for organizational research. Organ Res Methods 2000; 3: 4-69
• 4 Schmitt N, Kuljanin G. Measurement invariance: Review of practice and implications. Human Resource Management Review 2008; 18: 210-222
• 5 Teresi JA. Overview of quantitative measurement methods. Equivalence, invariance, and differential item functioning in health applications. Med Care 2006; 44: S39-S49
• 6 Wirtz M, Böcker M. Eigenschaften und Nutzen des Rasch-Modells in der klinischen Diagnostik. Rehabilitation 2007; 46: 238-245
• 7 Stark S, Chernyshenko OS, Drasgow F. Detecting differential item functioning with confirmatory factor analysis and item response theory: Toward a unified strategy. Journal of Applied Psychology 2006; 91: 1292-1306
• 8 Meade AW, Lautenschlager GJ. A comparison of item response theory and confirmatory factor analytic methodologies for establishing measurement equivalence/invariance. Organ Res Methods 2004; 7: 361-388
• 9 Meade AW, Lautenschlager GJ, Hecht JE. Establishing measurement equivalence and invariance in longitudinal data with item response theory. International Journal of Testing 2005; 5: 279-300
• 10 Millsap RE. Comments on methods for the investigation of measurement bias in the Mini-Mental State Examination. Medical Care 2006; 44: S171-S175
• 11 Jelitte M, Schuler M. Messen wir immer das gleiche? Zur Invarianz von Messungen und Response Shift in der Rehabilitation – Teil 2. Rehabilitation (im Druck)
• 12 Bullinger M, Morfeld M. Der Health Survey SF-36/SF-12: Darstellung und Entwicklungen. In: Maurischat C, Morfeld M, Kohlmann T, Bullinger M. Hrsg Lebensqualität: Nützlichkeit und Psychometrie des Health Survey SF-36/SF-12 in der medizinischen Rehabilitation. Lengerich: Pabst; 2004: 15-28
• 13 Maurischat C, Krüger-Bödecker A. Analysen zum Strukturmodell des SF-36/SF-12 – eine Übersicht. In: Maurischat C, Morfeld M, Kohlmann T, Bullinger M. Hrsg Lebensqualität: Nützlichkeit und Psychometrie des Health Survey SF-36/SF-12 in der medizinischen Rehabilitation. Lengerich: Pabst; 2004: 29-48
• 14 Eid M, Gollwitzer M, Schmitt M. Statistik und Forschungsmethoden. 1.. Aufl. Weinheim u. a.: Beltz; 2010
• 15 Kline RB. Principles and Practice of structural equation modeling. New York: The Guilford Press; 2005
• 16 Leonhart R, Wirtz M, Bengel J. Measuring effect sizes using manifest versus latent variables: consequences and implications for research. Int J Rehabil Res 2008; 31: 207-216
• 17 Gregorich SE. Do self-report instruments allow meaningful comparisons across diverse population groups? Testing measurement invariance using the confirmatory factor analysis framework. Medical Care 2006; 44: S78-S94
• 18 Meredith W, Teresi JA. An essay on measurement and factorial invariance. Medical Care 2006; 44: 69-77
• 19 Cheung GW, Rensvold RB. Assessing extreme and acquiescence response sets in cross-cultural research using structural equations modeling. Journal of Cross-Cultural Psychology 2000; 31: 187-212
• 20 Rusticus SA, Hubley AM, Zumbo BD. Measurement invariance of the appearance schemas inventory-revised and the body image quality of life inventory across age and gender. Assessment 2008; 15: 60-71
• 21 Dolnicar S, Grun B. Response style contamination of student evalua­tion data. Journal of Marketing Education 2009; 31: 160-172
• 22 Maurischat C. Exploratorische und konfirmatorische Faktorenanalyse. Rehabilitation 2006; 45: 243-248
• 23 Hu L-T, Bentler PM. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling 1999; 6: 1-55
• 24 Bühner M. Einführung in die Test- und Fragebogenkonstruktion. 2.. Aufl. München: Pearson Education Deutschland; 2006
• 25 Arbuckle JL. AMOS 17 User's Guide. Chicago: SPSS; 2008
• 26 Bollen KA. Structural Equations with Latent Variables. Oxford: John Wiley & Sons; 1989
• 27 French BF, Finch W. Multigroup confirmatory factor analysis: Locating the invariant referent sets. Structural Equation Modeling 2008; 15: 96-113
• 28 Yoon M, Millsap RE. Detecting violations of factorial invariance using data-based specification searches: A Monte Carlo study. Structural Equation Modeling 2007; 14 (03) 435-463
• 29 Meade AW, Johnson EC, Braddy PW. Power and sensitivity of alternative fit indices in tests of measurement invariance. Journal of Applied Psychology 2008; 93: 568-592
• 30 Byrne BM, Shavelson RJ, Muthen B. Testing for the equivalence of factor covariance and mean structures: The issue of partial measurement invariance. Psychological Bulletin 1989; 105: 456-466
• 31 Cheung GW, Rensvold RB. Testing factorial invariance across groups: A reconceptualization and proposed new method. Journal of Management 1999; 25: 1-27
• 32 Steenkamp J-BE, Baumgartner H. Assessing measurement invariance in cross-national consumer research. Journal of Consumer Research 1998; 25: 78-90
• 33 Flora DB, Curran PJ. An empirical evaluation of alternative methods of estimation for confirmatory factor analysis with ordinal data. Psychological Methods 2004; 9 (04) 466-491
• 34 Muthén LK, Muthén B. Mplus User’s Guide. Los Angeles: Muthén & Muthén; 2007
• 35 Wirtz M. Über das Problem fehlender Werte: Wie der Einfluss fehlender Informationen auf Analyseergebnisse entdeckt und reduziert werden kann. Rehabilitation 2004; 43: 109-115
• 36 Mann HM, Rutstein DW, Hancock GR. The potential for differential findings among invariance testing strategies for multisample measured variable path models. Educational and Psychological Measurement 2009; 69 (04) 603-612
• 37 Theuns P, Hofmans J, Mazaheri M et al. Cross-national comparability of the WHOQOL-BREF: A measurement invariance approach. Qual Life Res 2010; 19: 219-224
• 38 Graham JM. Congeneric and (essentially) tau-equivalent estimates of score reliability: What they are and how to use them. Educational and Psychological Measurement 2006; 66: 930-944
• 39 Morin AJS, Moullec G, Maiano C et al. Psychometric properties of the Center for Epidemiologic Studies Depression Scale (CES-D) in French clinical and non-clinical adults. Epidemiology and Public Health/Revue d’Épidémiologie et de Santé Publique 2011; (im Druck)
• 40 Borsboom D. When does measurement invariance matter?. Medical Care 2006; 44: S176-S181
• 41 Frey C, Zwingmann C, Böcker M et al. Adaptives Testen in der Rehabilitation – ein Weg zur ökonomischen Erhebung von Patientenmerkmalen. Rehabilitation 2011; 50: 195-203
• 42 Allen DD, Wilson M. Introducing multidimensional item response modeling in health behavior and health education research. Health education research 2006; 21 (Suppl. 01) i73-i84
• 43 Millsap RE, Kwok OM. Evaluating the impact of partial factorial invariance on selection in two populations. Psychological Methods 2004; 9: 93-115
• 44 Russell JA, Fehr B. Fuzzy concepts in a fuzzy hierarchy: Varieties of anger. Journal of Personality and Social Psychology 1994; 67: 186-205
• 45 Horowitz LM, Malle BF. Fuzzy concepts in psychotherapy research. Psychotherapy Research 1993; 3: 131-148