In der klinischen Praxis stellen Beurteilungen oder Einschätzungen durch unabhängige Dritte eine der wichtigsten Erhebungsmethoden dar. Soll beispielsweise ein behandelnder Arzt die Erkrankung eines Patienten diagnostizieren oder die Schwere einer Erkrankung einschätzen, so ist dies als typische Beurteilungssituation aufzufassen: Dem Patienten wird eine Erstdiagnose oder aber eine Zahl zugeordnet, die ökonomisch und zuverlässig den Zustand des Patienten widerspiegeln soll. Beurteilungen dieser Art können als Messungen von Eigenschaften aufgefasst werden [13].[1] In diesem Artikel soll gezeigt werden, welche Methoden angewendet werden sollten, um die Güte dieses „Messvorgangs” zu bestimmen, und welche Probleme für die praktische Anwendung bestehen, wenn diese sich als nicht ausreichend erweist.
Weshalb ist es überhaupt notwendig, sich mit der Güte solcher Beurteilungen auseinander zu setzen? Messungen, bei denen subjektive Eindrücke oder nicht direkt beobachtbare Eigenschaften durch Einschätzungen quantifiziert werden, sind leider nicht fehlerfrei: Dies wird insbesondere dadurch deutlich, dass verschiedene Beurteiler bei der Einschätzung derselben Person nicht immer zu identischen Ergebnissen kommen. Somit spiegeln die Messwerte nicht eindeutig die Eigenschaft der eingeschätzten Person wider. Berechnet man dann beispielsweise die Korrelation des eingeschätzten Merkmals mit einem weiteren Merkmal, muss davon ausgegangen werden, dass der Zusammenhang umso deutlicher unterschätzt wird, je fehlerhafter oder ungenauer das Merkmal selbst eingeschätzt wurde [8].
Deswegen wurden Kriterien definiert und entwickelt, die für jede Messung erfüllt sein sollten, damit das Ausmaß von Fehlereinflüssen auf das Messergebnis vernachlässigbar ist [8]: Messungen müssen tatsächlich das interessierende Merkmal erfassen (Kriterium der Validität), und das Messergebnis sollte die betreffende Merkmalsausprägung möglichst genau abbilden, sodass Personen mit unterschiedlicher Merkmalsausprägung zuverlässig voneinander unterschieden werden können (Kriterium der Reliabilität). Sind diese beiden Gütekriterien erfüllt, so sind die Messergebnisse und die „wahren” Merkmalsausprägungen hinreichend deckungsgleich.
Eine zufrieden stellende Reliabilität ist die Grundlage für valide Daten:[2] Zunächst einmal muss sichergestellt werden, dass verschiedene Beurteiler identische oder ähnliche Urteile für dieselbe Person abgeben. Nur wenn diese Bedingung erfüllt ist, kann man davon ausgehen, dass Beurteiler prinzipiell austauschbar sind und die Beurteilung der Merkmalsausprägung nicht wesentlich von der individuellen Perspektive des jeweiligen Beurteilers bestimmt wird. Um zu identifizieren, welches Merkmal von den Beurteilern aber tatsächlich beurteilt wird, muss geklärt werden, welche Eigenschaften der beurteilten Personen für die Einschätzung durch die Beurteiler ausschlaggebend sind: Welche Indikatoren werden von den Beurteilern im Sinne einer hohen vs. niedrigen Merkmalsausprägung gewertet? Welche implizite Operationalisierung besitzen die Beurteiler von dem einzuschätzenden Merkmal [18]? Zur Lösung dieses Problems der Validität von Beurteilungen sind - anders als im Falle psychometrischer Tests - vorwiegend qualitative Methoden geeignet [14]
[19].
Werden psychometrisch konstruierte Fragebogenskalen (z. B. SCL-90-R, [6]; SF-36, [4]) eingesetzt, so ist es unerlässlich, Maßzahlen für die zentralen Gütekriterien Reliabilität und Validität zu berücksichtigen und bei einer Dokumentation der Ergebnisse mit anzugeben. Werden Experten- oder Beobachterurteile analysiert, so wird die Problematik der Güte der Messung erstaunlicherweise oft ignoriert, obwohl auch hier natürlich nicht davon ausgegangen werden kann, dass der Beurteiler den „wahren” Zustand des Patienten unverfälscht einschätzen kann.
Im Folgenden soll die Reliabilitätsproblematik behandelt werden: Wie lässt sich die Reliabilität der Beurteilungen bestimmen? Mittels welcher Maßnahmen kann die Reliabilität erhöht werden? Obwohl im Text die Einschätzung von Personen als Beispiel verwendet wird, gelten alle Aussagen für die Beurteilung von Objekten (z. B. auch Kliniken) allgemein.
Welche Methoden sollten zur Bestimmung der Reliabilität verwendet werden?
Um die Beurteilerreliabilität zu bestimmen, muss - anders als in den meisten Anwendungssituationen - dieselbe Person von mehreren Beurteilern eingeschätzt werden. Welche statistischen Methoden dann zur Bestimmung der Reliabilität der Beurteilung eingesetzt werden sollten, hängt wesentlich von dem Messniveau der verwendeten Skala ab. Zwei Skalenarten müssen hier unterschieden werden [7]:
-
Kategoriensysteme: Es soll eine Klassifikation (z. B. Erstdiagnose nach ICD-10) vorgenommen werden, bei der über die Zugehörigkeit eines Patienten zu genau einer von mehreren vorgegebenen Kategorien entschieden werden soll (nominales oder kategoriales Urteil). Die Entscheidung, ob ein bestimmtes Merkmal vorhanden ist oder nicht, kann als Spezialfall eines solchen kategorialen Urteils mit zwei Kategorien aufgefasst werden.
-
Rating- oder Einschätzskalen: Es wird eine graduelle Abstufung einer Merkmalsausprägung erfasst (z. B. „- 3” = „trifft überhaupt nicht zu” … „+ 3” = „trifft genau zu”, vgl. [2]
[10]).
Hier soll ausschließlich die Reliabilität von Beurteilungen mittels Ratingskalen vertieft werden. Zur Zuverlässigkeit von Zuordnungen zu Kategorien, die zumeist mittels Cohens Kappa überprüft wird, sei auf die entsprechende Literatur verwiesen [5]
[7]
[14]
[15]
[16]
[17]
[18].
In der klassischen Testtheorie ist die Reliabilität als der Anteil der Varianz der gemessenen Daten definiert, der durch die „wahren” Werte erklärt werden kann. Eine Reliabilität von 0,9 bedeutet, dass die Einschätzungen eines Beurteilers zu 90 % von den tatsächlichen, „wahren” Werten der beurteilten Personen determiniert werden und lediglich 10 % der Varianz der Daten durch Fehlereinflüsse bestimmt sind. Eine statistische Maßzahl ist nur dann ein Reliabilitätskoeffizient, wenn dieser eine erwartungstreue Schätzung des Varianzverhältnisses von „wahrer” Varianz zu Gesamtvarianz darstellt. Die so genannte Intraklassenkorrelation (ICC) erfüllt genau diese Bedingung [9]
[12]
[18].[3] Ein Wert der ICC von 0 indiziert vollständig zufälliges Beurteilerverhalten. Ein Wert von 1,0 liegt vor, wenn die Beurteilung perfekt reliabel erfolgt.
Für die Anwendung der ICC zur Bestimmung der Beurteilerreliabilität ist es wichtig zu beachten, dass insgesamt sechs verschiedene Versionen des Intraklassenkorrelationskoeffizienten existieren. Die Eigenschaften dieser in der Literatur und auch in Lehrbüchern selten erwähnten Gütemaße soll im Folgenden erläutert werden. In Abhängigkeit davon, wie die Beurteilerdaten in der Praxis eingesetzt oder interpretiert werden sollen, muss entschieden werden, welcher der Koeffizienten die Reliabilität angemessen quantifiziert. Hierfür sind drei Entscheidungskriterien ausschlaggebend:
Entscheidungskriterium 1: Sollen die von den Beurteilern vergebenen absoluten Messwerte unabhängig von der Person des Beurteilers weiterverwertet werden?
Ist dies der Fall, so ist es nicht nur notwendig, dass eine hohe Korrelation zwischen den Urteilen der Beurteiler besteht, sondern es muss zusätzlich gefordert werden, dass die absoluten Werte, die von verschiedenen Beurteilern für dieselbe Person vergeben werden, ähnlich sind.
Ein Beispiel soll diesen Punkt verdeutlichen: Zwei Therapeuten beurteilen die Behandlungsbedürftigkeit von Patienten mittels einer 10-stufigen Ratingskala (Wertebereich 1 - 10). Therapeut A ist sehr konservativ in seiner Einschätzung und vergibt Punktwerte im Bereich von 1 - 5. Therapeut B nutzt hingegen das obere Ende der Skala aus und schätzt die Behandlungsbedürftigkeit jedes Patienten um jeweils genau 5 Punkte höher ein als Therapeut A. Die Korrelation für diesen Datensatz ist genau gleich 1, aber die Übereinstimmung zwischen den vergebenen Punktwerten wäre sehr schlecht. Für die tatsächliche Anwendungssituation, in der jeder Patient nur von einem der beiden Therapeuten beurteilt wird, würde dies bedeuten, dass Patienten, die das Glück oder aber das Pech haben, von Therapeut B beurteilt zu werden, als behandlungsbedürftiger eingeschätzt werden, unabhängig von ihrem tatsächlichen Zustand.
In den meisten Anwendungssituationen muss verlangt werden, dass verschiedene Beurteiler ähnliche absolute Werte vergeben. Neben einer hohen Korrelation der Urteile müssen hierfür die Mittelwerte der Beurteiler ähnlich sein. Die so genannten unjustierten (nicht mittelwertkorrigierten) ICCs berücksichtigen diese beiden Informationsaspekte und quantifizieren somit die Beurteilerreliabilität bezüglich der absoluten Werte angemessen. In der Literatur ist auch die Bezeichnung ICC mit absoluter Übereinstimmungsdefinition gebräuchlich [9]. Im genannten Beispiel wäre - unter der Annahme, dass jeder Wert im Bereich von 1 - 5 von Therapeut A bzw. im Bereich 6 - 10 von Therapeut B gleich häufig vergeben wird - die ICCunjust (zur Notation der verschiedenen ICCs s. ANHANG) gleich 0,17, was eine sehr schlechte Reliabilität indiziert.
Justierte (mittelwertkorrigierte) Reliabilitätsmaße haben ähnliche Eigenschaften wie reine Korrelationsmaße, da ihr Wert unabhängig von Mittelwertsunterschieden zwischen Beurteilern ist. Justierte Maße nehmen systematisch höhere Werte an als unjustierte Maße, wenn der Mittelwert der von den Beurteilern vergebenen Werte - wie im genannten Beispiel - differiert. Die ICCjust darf jedoch nur als Reliabilitätsmaß verwendet werden, wenn bei der Interpretation der Daten nur die Position der beurteilten Personen in der individuellen Rangreihe der Beurteiler entscheidend ist. Für dieses Maß wird auch die Bezeichnung „ICC mit Konsistenzdefinition” verwendet [9]. In dem Beispiel ist der Wert der ICCjust gleich 1, weil von beiden Ratern dieselben Personen als relativ hoch bzw. niedrig behandlungsbedürftig eingeschätzt werden, obwohl die absoluten Werte deutlich differieren. Nur wenn das unterschiedliche Grundniveau der Beurteiler in der Punktvergabe bei der Interpretation der Daten in Rechnung gestellt wird, ist die ICCjust das angemessene Reliabilitätsmaß. Da dies in der Praxis eher selten vorkommt, sei an dieser Stelle auf den Artikel von Shrout u. Fleiss [12] verwiesen: Sie diskutieren Situationen, in denen eine solche Interpretation angemessen ist (s. auch [9]
[18]).
In Tab. [1] ist ein Datenbeispiel angegeben, das den Unterschied zwischen justierten und unjustierten Maßen nochmals anschaulich verdeutlicht. Beurteiler 1 hat für die 10 zu beurteilenden Personen die Werte in Spalte 2 vergeben. In Spalte 3 sind für einen zweiten Beurteiler Messwerte angegeben, die denselben Mittelwert und dieselbe Varianz wie die Urteile von Beurteiler 1 besitzen. Da die Mittelwerte der beiden Beurteiler gleich sind, nehmen unjustierte (zweit- und drittletzte Zeile) und justierte (letzte Zeile) Maße denselben Wert an. In den Spalten 4 - 8 ist die Wertereihe für Beurteiler 2 jeweils sukzessive um den Wert 1 verschoben. Je stärker sich die Mittelwerte der beiden Urteiler unterscheiden, desto niedriger ist der Wert der unjustierten ICCs. Hingegen bleibt die justierte ICC unverändert, da diese definitionsgemäß Mittelwertsunterschiede nicht als Indikator für mangelhafte Reliabilität wertet bzw. keine Ähnlichkeit der absoluten Werte verlangt wird. Für alle Daten ist zudem die justierte ICC gleich der Produkt-Moment-Korrelation, da die Varianzen der beiden Beurteiler gleich sind.
Tab. 1 Beispiel für die Abhängigkeit der drei ICCs vom Mittelwertsunterschied zwischen zwei Beurteilern (übernommen aus [18]).
| Beurteiler 1 | Beurteiler 2 x¯diff 0 | 1 | 2 | 3 | 4 | 5 |
| Person 1 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| Person 2 | 2 | 1 | 2 | 3 | 4 | 5 | 6 |
| Person 3 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| Person 4 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| Person 5 | 5 | 3 | 4 | 5 | 6 | 7 | 8 |
| Person 6 | 6 | 6 | 7 | 8 | 9 | 10 | 11 |
| Person 7 | 7 | 7 | 8 | 9 | 10 | 11 | 12 |
| Person 8 | 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| Person 9 | 9 | 8 | 9 | 10 | 11 | 12 | 13 |
| Person 10 | 10 | 10 | 11 | 12 | 13 | 14 | 15 |
| ICCunjust,einfakt
| 0,94 | 0,89 | 0,75 | 0,56 | 0,35 | 0,16 |
| ICCunjust
| 0,94 | 0,89 | 0,77 | 0,63 | 0,50 | 0,39 |
| r = ICCjust
| 0,94 | 0,94 | 0,94 | 0,94 | 0,94 | 0,94 |
Entscheidungskriterium 2: Soll die Reliabilität des Urteils eines Beurteilers oder des Mittelwerts mehrerer Beurteiler bestimmt werden?
Hat man die Möglichkeit Einschätzungen mehrerer Beurteiler für dieselbe Person einzuholen, so besitzt der Mittelwert über die Einschätzungen mehrerer unabhängiger Beurteiler stets eine höhere Reliabilität als das Urteil eines einzelnen Beurteilers. Sowohl für die unjustierte als auch die justierte ICC kann nicht nur die Reliabilität des Urteils eines beliebigen Beurteilers berechnet werden, sondern auch die Reliabilität des Mittelwertes von mehreren Urteilern (ICCunjust,MW, ICCjust,MW). Die Verwendung der Reliabilität der Mittelwerte als Gütemaß ist jedoch nur zulässig, wenn nicht nur in der Reliabilitätsstudie, sondern auch in der praktischen Anwendung stets die Daten von mehreren Beurteilern pro Person vorliegen und der entsprechende Mittelwert für jede Person als Beurteilungsdatum gebildet werden kann.
Entscheidungskriterium 3: Wurden alle Personen von denselben Beurteilern eingeschätzt?
Sind Personen jeweils von einer anderen Beurteilergruppe beurteilt worden, können lediglich die unjustierten Maße ICCunjust,einfakt bzw. ICCunjust,einfakt,MW als Reliabilitätsmaße berechnet werden.[4] Dies wäre beispielsweise dann der Fall, wenn an verschiedenen Kliniken jeweils eine andere, klinikinterne Gruppe von Ärzten die Patienten beurteilt: Wenn die Daten von allen Kliniken zusammengefasst oder gemeinsam analysiert werden sollen, könnten zur Bestimmung der Reliabilität lediglich diese beiden Maße zum Einsatz kommen. Wenn es möglich ist, sollte man jedoch auch dann, wenn ein unjustiertes Reliabilitätsmaß berechnet werden soll, darauf achten, dass alle Personen von denselben Beurteilern eingeschätzt werden, da die ICCunjust eine genauere Bestimmung der Reliabilität ermöglicht als die ICCunjust,einfakt. Justierte Reliabilitätsmaße können nur berechnet werden, wenn alle Personen von denselben Beurteilern eingeschätzt wurden.
In der Praxis ist man zumeist daran interessiert, wie zuverlässig ein beliebiger Beurteiler die Merkmalsausprägungen von Personen einschätzt. Die resultierende Einschätzung - unabhängig vom Beurteiler - wird dann weiterverwendet: Entsprechend ist in den meisten Fällen die ICCunjust oder die ICCunjust,einfakt das angemessene Reliabilitätsmaß.
Die Berechnungsformeln für die genannten ICCs und Anleitungen zur einfachen Berechnung mit der SPSS-Funktion „Reliability” finden sich in der Literatur [18]. Dort werden auch die Voraussetzungen diskutiert, die für die Berechnung der ICCs erfüllt sein müssen (s. hierzu auch [9]
[12]
[15]). Eine Übersicht über die Entscheidungskriterien zur Selektion der korrekten ICC findet sich im Anhang.
Eine Beurteilerreliabilität ab 0,7 wird allgemein als „gute” Reliabilität klassifiziert, eine ICC unter 0,5 gilt als schwach oder nicht akzeptabel. Ob die Reliabilität einer Beurteilung zufrieden stellend ist, sollte aber auch immer von dem jeweils zu beurteilenden Merkmal abhängig gemacht werden. Für ein schwer zu erfassendes, komplexes Merkmal sind u. U. niedrigere Reliabilitäten akzeptabel als für ein Merkmal, das mittels alternativer Methoden unproblematisch zu erfassen ist.
In diesem Zusammenhang sei auf ein Problem hingewiesen, das bei der Interpretation von Reliabilitätskoeffizienten oft nicht beachtet wird: Die Reliabilität einer Messung verringert sich unter sonst gleichen Bedingungen, wenn die Merkmalsvarianz in der untersuchten Stichprobe abnimmt [8]: Beurteiler mögen beispielsweise in der Lage sein, hoch begabte von wenig begabten Personen zuverlässig zu unterscheiden, ohne dass sie notwendigerweise die Fähigkeit besitzen müssen, in einer homogenen Gruppe der Hochbegabten zuverlässige Differenzierungen vorzunehmen. Erst wenn Beurteiler zuverlässig die beurteilten Personen hinsichtlich der Merkmalsausprägung voneinander differenzieren können - was eine genügend hohe Präzision der Beurteilung im Verhältnis zur Merkmalsvariabilität in der untersuchten Personenstichprobe voraussetzt - liegt eine zufrieden stellende Reliabilität vor. Deswegen ist je nach Anwendungssituation dieselbe Präzision des Urteils unterschiedlich zu bewerten: Zufrieden stellende Reliabilität bedeutet, dass die Präzision einer Messung ausreicht, um die vorhandenen Unterschiede in der untersuchten Stichprobe zuverlässig zu entdecken. Hieraus folgt auch, dass eine noch so präzise Beurteilung niemals reliabel sein kann, wenn eine perfekt homogene Stichprobe vorliegt, in der die wahren Merkmalsausprägungen der beurteilten Personen nicht variieren.
Wie kann die Reliabilität von Beurteilungen verbessert werden?
Erweist sich die Reliabilität von Beurteilungen als nicht zufrieden stellend, so ist es notwendig, die Ursache von Unstimmigkeiten zwischen den Beurteilern zu identifizieren und in einem Beurteilertraining die Zuverlässigkeit der Beurteilungen gezielt zu verbessern. Um empirische Ansatzpunkte für ein Training zu erhalten, sollte deshalb neben der ICC die Korrelation jedes einzelnen Beurteilers mit dem Mittelwert der übrigen Beurteiler bestimmt werden (korrigierte Trennschärfen, [8]): Korreliert das Urteil eines oder weniger Beurteiler mit dem Mittelwert der übrigen Beurteiler gering, sind die korrigierten Trennschärfen der übrigen Beurteiler jedoch deutlich höher, so deutet dies darauf hin, dass die Mehrzahl der Beurteiler reliabel urteilt. Eine schwach ausfallende ICC kann dann durch die geringe Qualität des Urteils eines oder weniger Beurteiler bedingt sein. In einem Beurteilertraining müsste in diesem Fall nur die Leistung der betreffenden Urteiler verbessert werden: Hat das Training nicht den gewünschten Erfolg, so wäre es sinnvoll, den/die entsprechenden Beurteiler aus der Raterstichprobe auszuschließen.
Sind die korrigierten Trennschärfen für alle Beurteiler schwach, so muss in einem Beurteilertraining die Beurteilungsqualität aller Rater verbessert werden. Es wird durch die Beurteiler offensichtlich zu wenig Gemeinsames erfasst. Die Ursache hierfür kann darin liegen, dass kein Konsens entweder a) hinsichtlich des zu beurteilenden Merkmals oder b) hinsichtlich der entsprechenden Merkmalsausprägungen besteht. Ein Beispiel soll Punkt a verdeutlichen: Beurteilen Ärzte die Behandlungsbedürftigkeit, so mag Arzt A sich bei seinem Urteil eher an medizinischen Kriterien orientieren, für Arzt B ist der subjektiv geäußerte Leidensdruck des Patienten stärker ausschlaggebend. Dann wäre eine höhere Reliabilität u. U. dadurch zu erreichen, dass beide Ärzte sich auf eine Subkomponente als Beurteilungskriterium verständigen (z. B. Behandlungsbedürftigkeit = subjektiver Leidensdruck). Eine andere Möglichkeit bestünde darin, die beiden Unteraspekte explizit getrennt einzuschätzen, sodass von jedem Beurteiler eine Einschätzung des subjektiven Leidensdrucks und zusätzlich der medizinischen Kriterien vorgenommen wird.
Das wichtigste Instrument zur Verbesserung des Urteilerverhaltens ist also ein Feedback zwischen den Beurteilern, durch das die impliziten Operationalisierungen der Beurteiler transparent werden. Hierbei ist es hilfreich, beurteilte Personen zu identifizieren, für die entweder besonders starke oder aber sehr geringe Unterschiede in der Beurteilung vorliegen: Wenn geklärt ist, in welchen Fällen Unstimmigkeiten auftreten und worin diese Fälle sich von unproblematischen unterscheiden, kann die Ursache mangelnder Reliabilität zumeist sehr gut eingegrenzt werden.
Um den Konsens bezüglich der Einschätzung von Merkmalsausprägungen (s. o., Punkt b) zu verbessern, bietet es sich an, prototypische Fälle zu beschreiben, bei denen eine hohe vs. niedrige Merkmalsausprägung vorliegt. Ist dies nicht ausreichend, so können u. U. Subpopulationen (z. B. Diagnosegruppen) definiert werden, für die von reliabler vs. nicht reliabler Beurteilung ausgegangen werden kann. Für letztere ist dann eine intensivierte Diagnostik indiziert. Sind genügend Ressourcen vorhanden, so kann die Reliabilität auch gezielt erhöht werden, indem der Mittelwert der Einschätzungen mehrerer Beurteiler bestimmt wird.
Allgemein lässt sich festhalten, dass eine hohe Transparenz des zu beurteilenden Merkmals und der notwendigen Informationsverarbeitungsprozesse (z. B. Einschränkung des Interpretationsspielraums), eine an Beispielen orientierte Klärung typischer Merkmalsausprägungen, eine möglichst homogene Raterstichprobe (z. B. ähnliches Vorwissen) sowie eine heterogene Stichprobe der zu beurteilenden Personen günstig für die Reliabilität des Urteils sind. Das Urteil der Rater sollte zudem nicht durch Beurteilungstendenzen (z. B. Halo-Effekt, Tendenz zur Mitte, Tendenz zu den Extremen) verzerrt werden [3]
[7]
[18].
Nach jedem Beurteilertraining sollte an einer neuen Personenstichprobe die gewünschte Verbesserung überprüft werden: Wenn die betreffende ICC zufrieden stellend ist und zudem die Trennschärfen sowie die Mittelwerte der Rater homogen[5] sind, kann für die Anwendung von einer zuverlässigen Einschätzung durch die Beurteiler ausgegangen werden, die die Unterschiede zwischen den beurteilten Personen hinreichend genau widerspiegelt.
