Effects of Prevalence and Test Diagnosticity upon Clinical Judgments of Probability

J. I. Balla; A. Elstein; P. Gates

doi:10.1055/s-0038-1635416

Methods of Information in Medicine, Table of Contents

Methods Inf Med 1983; 22(01): 25-28
DOI: 10.1055/s-0038-1635416

Original Article

Schattauer GmbH

Effects of Prevalence and Test Diagnosticity upon Clinical Judgments of Probability

Auswirkungen Der Prävalenz Und Diagnostischen Aussagekraft Von Tests Auf Klinische Wahrscheinlichkeitsbeurteilungen

J. I. Balla

¹From the Office of Medical Education Research and Development, Michigan State University, and the Dept. of Neurology, Prince Henry’s Hospital, Melbourne/Australia

,

A. Elstein

¹From the Office of Medical Education Research and Development, Michigan State University, and the Dept. of Neurology, Prince Henry’s Hospital, Melbourne/Australia

,

P. Gates

¹From the Office of Medical Education Research and Development, Michigan State University, and the Dept. of Neurology, Prince Henry’s Hospital, Melbourne/Australia

› Author Affiliations

Abstract

The process of revising diagnostic probabilities was studied to examine the relative influence of prior probability and test diagnosticity at various levels of clinical experience. The aims were to show changes with increasing seniority, to explore the effects of perceived seriousness of a disease, and to demonstrate systematic biases in handling probabilistic information. To these ends, 4 case vignettes were presented to 169 medical students in the three final years of the medical course and 25 residents. The data presented included the prior probabilities of two diseases and the true positive fraction of a single clinical manifestation of the rarer disease.

Results showed a slightly increasing reliance on prior probability with increasing experience. The less experienced seemed most influenced by test results and by perceived seriousness of the disease. In some vignettes judgment seemed to depend on representativeness. In others, the most plausible explanation of the diagnostic choice would have been availability. Marked case-to-case variation was noted for individuals and there was a general lack of systematic biases. Revision of diagnostic opinion often depended on preconceived notions, and prior probabilities tended to be ignored. These are clear indications for teaching the basics of decision theory to medical students and early post-graduates.

Der Prozeß der Revision diagnostischer Wahrscheinlichkeiten wurde untersucht, um den relativen Einfluß von A-priori-Wahrscheinlichkeit und diagnostischer Aussagekraft von Tests auf verschiedenen Ebenen klinischer Erfahrung zu erkunden. Ziel der Untersuchung war, Veränderungen mit zunehmender Erfahrung aufzuzeigen, die Wirkungen wahrgenommener Schwere einer Krankheit zu untersuchen und systematische Vorurteile bei der Handhabung probabilistischer Informationen nachzuweisen. Zu diesem Zweck wurden 169 Medizinstudenten der drei letzten Jahre des Medizinstudiums und 25 Medizinalpraktikanten 4 Fallskizzen unterbreitet. Die vorliegenden Daten enthielten die A-priori-Wahrscheinlichkeiten von zwei Krankheiten und den richtig-positiven Anteil eines einzelnen klinischen Symptoms einer selteneren Krankheit.

Die Ergebnisse zeigten ein leicht ansteigendes Vertrauen auf die A-priori-Wahrscheinlichkeiten mit zunehmender Erfahrung. Die weniger Erfahrenen schienen sich am meisten durch Testergebnisse und die wahrgenommene Schwere der Krankheit beeinflussen zu lassen. In einigen Skizzen schien das Urteil von dem Vorstellungsvermögen abzuhängen. Bei anderen mochte die plausibelste Erklärung für die Wahl der Diagnose Verfügbarkeit gewesen sein. Eine ausgeprägte Abweichung von Fall zu Fall wurde bei Einzelpersonen festgestellt; systematische Vorurteile fehlten allgemein. Die Revision der diagnostischen Meinungsäußerung hing häufig von vorgefaßten Vorstellungen ab, während A-priori-Wahrscheinlichkeiten eher unberücksichtigt blieben. Dies sind klare Hinweise auf die Notwendigkeit, Medizinstudenten und junge Assistenten die Grundlagen der Entscheidungstheorie zu lehren.

Key-Words

Probability Revision - Clinical Judgment

Schlüssel-Wörter

Revision der Wahrscheinlichkeit - klinisches Urteil

Full Text

References

References
1 Balla J. I.. The Use of Critical Cues and Prior Probability in Decision-Making. Meth. Inform. Med 1982; 21: 9-14.
2 Casscells B. S., Schoenberg A., Graboys T. B.. Interpretation by Physicians of Clinical Laboratory Results. New. Engl. J. Med 1978; 229: 999-1000.
3 De Dombal F. T., Horrocks J. C, Staniland J. R., Guillou P. J.. Production of Artificial Case Histories by Using a Small Computer.. Brit. med. J. 1971; I 578-581.
4 Detmer D. E., Fryback D. G., Gassner K.. Heuristics and Biases in Medical Decision Making. J. med. Educ 1978; 53: 682-683.
5 Dudley H. A. F.. Pay-off, Heuristics, and Pattern Recognition in the Diagnostic Process. Lancet. 1968; II 723-726.
6 Eddy D. M.. Probabilistic Reasoning in Clinical Medicine: Problems and Opportunities.. In Kahneman D., Slovic P., Tversky A.. (Eds) Judgment Under Uncertainty: Heuristics and Biases.. New York: Cambridge University Press; 1982
7 Elstein A. S., Shulman L. S., Sprafka S. A.. Medical Problem Solving.. Cambridge/Mass.: Harvard University Press 1978
8 Freeman L. C.. Elementary Applied Statistics.. New York: Wiley; 1965
9 Kassirer J. P., Gans D. L.. Case Records of The Massachusetts General Hospital. New Engl. J. Med 1982; 306: 975-984.
10 Nisbet R., Ross L.. Human Inferences: Strategies and Shortcomings of Social Judgment.. Englewood Cliffs, N. J.: Prentice Hall 1980
11 Tversky A., Kahneman D.. Judgment Under Uncertainty: Heuristics and Biases.. Science 1974; 185: 1124-1131.