Klin Monbl Augenheilkd 2003; 220(4): 281-283
DOI: 10.1055/s-2003-38633
Fortbildung
© Georg Thieme Verlag Stuttgart · New York

VII: Diagnosestudien: Einfache Maße für Validität und Reliabilität

VII: Diagnostic Trials: Simple Measures of Validity and ReliabilityFrank  Krummenauer1
  • 1Institut für Medizinische Biometrie, Epidemiologie und Informatik der Universität Mainz
Further Information

Publication History

Eingegangen: 31. Oktober 2002

Angenommen: 7. November 2002

Publication Date:
15 April 2003 (online)

Zusammenfassung

Bei der Evaluation eines neuen diagnostischen oder bildgebenden Verfahrens müssen die Validität und Reliabilität seiner Befundresultate belegt werden. Mithilfe des κ-Maßes nach Cohen kann die Übereinstimmung zwischen zwei Befundreihen gemessen werden, ferner kann im Falle von Abweichungen zwischen den diagnostischen Verfahren mit dem McNemar-Test eine Systematik in diesen Abweichungen aufgedeckt werden. Weiter werden Sensitivität und Spezifität als Charakteristika der diagnostischen Schärfe des Novums gegenüber der Referenz angegeben, sie messen den prozentualen Anteil der vom Novum richtig erkannten positiven und negativen Befunde gegenüber den Befundresultaten der Referenz. Speziell Sensitivität und Spezifität sind Maße der Validität eines diagnostischen Verfahrens, können aber nur bei Vorliegen eines binären Referenzbefundes bestimmt werden. Die Bestimung der Reliabilität eines diagnostischen Novums kann z. B. über parallele Auswertung/Befundung durch zwei unabhängige Befunder an einem Testkollektiv von Patienten erfolgen. Mithilfe des κ-Maßes kann die Konkordanz zwischen den Befundern als Maß der Reliabilität des Verfahren bestimmt werden. Treten Diskordanzen auf, kann mit dem McNemar-Test eine mögliche Systematik in den Abweichungen der Befunder aufgedeckt werden („observer bias”).

Abstract

The evaluation of a new diagnostic or imaging device has to focus both on its diagnostic validity and reliability. Cohen's κ coefficient can be used to assess the agreement of the new device's findings with those of an established diagnostic reference, it therefore presents a surrogate measure of validity. Additional measures of validity are sensitivity and specifity, which assess the order of agreement with the reference for positive and negative reference findings, respectively. The latter, however, can only be applied for binary reference findings. If discordant findings are observed, the McNemar test can be used to detect a diagnostic shift between diagnostic novum and reference. The estimation of reliability can be based on the independent parallel rating of a patient subset by two clinical readers; again the κ coefficient measures the agreement of the parallel ratings and therefore represents a surrogate measure of reliability. The McNemar test can be used to detect an observer bias.

PD Dr. Frank Krummenauer

Institut für Medizinische Biometrie, Epidemiologie und Informatik der Universität Mainz

Obere Zahlbacher Straße 69

55131 Mainz

Phone: ++ 49/6131/173107

Fax: ++ 49/6131/172968

Email: krummi@imsd.uni-mainz.de