VII: Diagnosestudien: Einfache Maße für Validität und Reliabilität

Zusammenfassung

Bei der Evaluation eines neuen diagnostischen oder bildgebenden Verfahrens müssen die Validität und Reliabilität seiner Befundresultate belegt werden. Mithilfe des κ-Maßes nach Cohen kann die Übereinstimmung zwischen zwei Befundreihen gemessen werden, ferner kann im Falle von Abweichungen zwischen den diagnostischen Verfahren mit dem McNemar-Test eine Systematik in diesen Abweichungen aufgedeckt werden. Weiter werden Sensitivität und Spezifität als Charakteristika der diagnostischen Schärfe des Novums gegenüber der Referenz angegeben, sie messen den prozentualen Anteil der vom Novum richtig erkannten positiven und negativen Befunde gegenüber den Befundresultaten der Referenz. Speziell Sensitivität und Spezifität sind Maße der Validität eines diagnostischen Verfahrens, können aber nur bei Vorliegen eines binären Referenzbefundes bestimmt werden. Die Bestimung der Reliabilität eines diagnostischen Novums kann z. B. über parallele Auswertung/Befundung durch zwei unabhängige Befunder an einem Testkollektiv von Patienten erfolgen. Mithilfe des κ-Maßes kann die Konkordanz zwischen den Befundern als Maß der Reliabilität des Verfahren bestimmt werden. Treten Diskordanzen auf, kann mit dem McNemar-Test eine mögliche Systematik in den Abweichungen der Befunder aufgedeckt werden („observer bias”).

Abstract

The evaluation of a new diagnostic or imaging device has to focus both on its diagnostic validity and reliability. Cohen's κ coefficient can be used to assess the agreement of the new device's findings with those of an established diagnostic reference, it therefore presents a surrogate measure of validity. Additional measures of validity are sensitivity and specifity, which assess the order of agreement with the reference for positive and negative reference findings, respectively. The latter, however, can only be applied for binary reference findings. If discordant findings are observed, the McNemar test can be used to detect a diagnostic shift between diagnostic novum and reference. The estimation of reliability can be based on the independent parallel rating of a patient subset by two clinical readers; again the κ coefficient measures the agreement of the parallel ratings and therefore represents a surrogate measure of reliability. The McNemar test can be used to detect an observer bias.

Schlüsselwörter

Diagnostische Validität - diagnostische Reliabilität - κ-Maß - McNemar-Test - Sensitivität - Spezifität

Key words

Diagnostic validity - diagnostic reliability - κ coefficient - McNemar test - sensitivity - specifity