The Kappa Coefficient and the Prevalence of a Diagnosis

Summary

The kappa coefficient is a widely used measure of agreement between observers’ independent recording of diagnoses. Kappa adjusts the overall agreement for expected chance agreement. The dependence of kappa on the prevalence . of a diagnosis has not previously been emphasized. This dependence means that kappa does not give a general statement of the reproducibility of a diagnosis. The result of a study of observer agreement should, therefore, not – as it has been done in several studies – be given by the kappa value alone. The kappa value should always be given together with the original results of the study.

Der Kappa-Koeffizient ist ein vielbenutztes Maß für die Übereinstimmung zwischen Beobachtern, die unabhängig voneinander Diagnosen aufzeichnen. Kappa gleicht die Gesamtübereinstimmung an die erwartete Zufallsübereinstimmung an. Die Abhängigkeit von Kappa von der Prävalenz einer Diagnose ist bis jetzt noch nicht hervorgehoben worden. Diese Abhängigkeit bedeutet, daß Kappa keine allgemeine Aussage über die Reproduzierbarkeit einer Diagnose liefert. Das Ergebnis einer Studie über Beobachterübereinstimmung sollte daher nicht, wie in verschiedenen Studien geschehen, als Kappa-Wert allein angegeben werden. Der Kappa-Wert sollte immer zusammen mit den ursprünglichen Ergebnissen der Studie angegeben werden.

Key-Words:

Kappa Coefficient - Prevalence - Observer Variation

Schlüssel-Wörter:

Kappa-Koeffizient - Vorkommen - Beobachtervariation

• REFERENCES

• 1 Anonymous Herlev Hospital Study Group. Diagnostic Decision-Process in Suspected Pulmonary Embolism. Lancet 1979; I: 1336-1338.
• 2 Bjerregaard B, Brynits S, Holst-Christensen J. et al. Reliability of medical history and physical examination in patients with acute abdominal pain. Meth. Inform. Med 1983; 22: 15-18.
• 3 Cohen J. A coefficient of agreement for nominal scales. Educ. Psychol. Meas 1960; 20: 37-46.
• 4 Conn H. O, Smith H. W, Brodoff M. Observer variation in the endoscopic diagnosis of esophageal varices. N. Engl. J. Med 1965; 272: 830-834.
• 5 Fleiss J. L. Statistical Methods for Rates and Proportions. New York: John Wiley & Sons; 1981
• 6 Gjørup T, Bugge P. M, Jensen A. M. Interobserver variation in assessment of respiratory signs. Acta Med. Scand 1984; 216: 61-66.
• 7 Gjørup T, Bugge P. M, Hendrisken C, Jensen A. M. A critical evaluation of the clinical diagnosis of anemia. Amer. J. Epidemiol 1986; 124: 657-665.
• 8 Lindberg G, Helmers C. Reliability of history taking and physical examination in jaundice. Meth. Inform. Med 1982; 21: 137-142.
• 9 McLachlan M. S. E, Thomson J. G, Taylor D. W. Kelly, Mary E, Sackett D. L. Observer variation in the interpretation of lower limb venograms. AJR 1979; 132: 227-229.
• 10 Mygind T, Dorph S, Blichert-Toft M, Pedersen M. L, Siemssen O, Jacobsen G. K. Mammography is an objective diagnostic method. Acta Radiologica Diagnosis 1984; 25: 189-193.
• 11 Rabøl A, Hesse B, Fogh J. Perfusion/ ventilation scintiphotography in suspected pulmonary embolism. Lancet 1981; I: 1427
• 12 Rossing N, Munck O, Nielsen S. P, Andersen K. W. What do early bone scans tell about breast cancer patients? Eur. J. Cancer Clin. Oncol 1982; 18: 629-636.
• 13 Theodossi A, Skene A. M, Portmann B. et al. Observer variation in assessment of liver biopsies including analysis by kappa statistics. Gastroenterology 1980; 79: 232-241.
• 14 Vecchio T. J. Predictive value of a single diagnostic test in unselected populations. N. Engl. J. Med 1966; 274: 1171-1173.
• 15 Workum P, DelBono E. A, Holford S. K, Murphy R. L. H. Observer agreement, chest auscultation and cracklers in asbestos-exposed workers. Chest 1986; 89: 27-29.