Checking Concordance between Findings and Diagnoses in Sonographic Reports by a Knowledge-Based Documentation System

Abstract

Purpose: Sonographic reports are examiner-dependent and may not always be reliable. We investigated concordance between documented findings and diagnostic conclusions - not the objective correctness of both - with the help of a knowledge-based documentation system. Materials and Methods: The knowledge-based documentation system SonoConsult (SC) is routinely used in the ultrasound unit of a gastroenterological clinic for more than four years. Physicians documented findings with goal directed questionnaires, and diagnostic conclusions with free text. The consistency of documented findings and diagnoses was checked with the help of SC in a two-step process: 1. the diagnoses inferred by SC based on the documented findings were compared to the diagnoses of the physicians stated as free text. 2. In case of discrepancies, a more thorough comparison was performed manually by the medical authors of this study. For judging the practical relevance of discrepancies, diagnostic codes were pre-classified as a) being presumably of higher and lower relevance for the clinician and b) requiring simple or complex inference rules from the findings. Results: In a first series of 250 consecutive cases with 934 diagnoses (3.7 diagnoses per case), 71.1 % showed agreement between diagnoses of the physicians and of SC and were judged as consistent compared to the documented findings. 24.4 % of the diagnoses suggested by the documented findings, however, were not mentioned by the physicians (false negative) and 4.5 % were mentioned by the physicians but not suggested by the documented findings (false positive). From the 24.4 % missing diagnoses, 40 % were pre-classified as being of higher relevance for the clinician. In a second series of 161 consecutive cases with 501 diagnoses (3.1 diagnoses per case), 61.1 % were judged as consistent compared to the documented findings, 36.1 % false negative and 2.8 % false positive. In this study, we differentiated the missing diagnoses due to their inferential complexity: From the 152 complex diagnoses, 44 % were missing, while from the 349 simple diagnoses, 32.7 % were missing. Conclusion: As shown for a sonographic department of a clinic of internal medicine, in sonographic reports, one has to be aware of discrepancies between question-set-based documentations of findings and diagnostic conclusions of the examiners. While a detailed documentation of findings is the basis of quality control, consistency checks between documented findings and diagnostic conclusions, which might be done automatically in an electronic patient record, would considerably improve the quality of the reports.

Zusammenfassung

Ziel: Sonografische Befundberichte sind untersucherabhängig und erweisen sich daher nicht immer als verlässlich. Wir untersuchten die Übereinstimmung zwischen den in Computerformularen dokumentierten Befunden und den in der Beurteilung freitextlich angegebenen Diagnosen - nicht die Korrektheit von beiden - mithilfe eines wissensbasierten Computerprogramms. Material und Methoden: Das wissensbasierte Dokumentationssystem SonoConsult (SC) wird seit mehr als 4 Jahren in der Ultraschallabteilung einer gastroenterologischen Klinik verwendet. Die Untersucher gaben die Untersuchungsbefunde in von SC fallbezogen präsentierte Computerfragebogen ein und schrieben die Diagnosen in ein Freitextfeld. Die Konsistenz zwischen Befunden und Diagnosen wurde mithilfe von SC in zwei Schritten überprüft: 1. Die Diagnosen, die von den Untersuchern angegeben wurden, wurden mit denen verglichen, die SC aus ihnen geschlossen hatte. 2. Im Falle von Diskrepanzen wurde durch die Autoren der Studie eine manuelle Überprüfung durchgeführt. Um die praktische Relevanz von Diskrepanzen zu beurteilen, wurden die Diagnosen danach eingeteilt, a) ob sie für die ärztliche Behandlung von vermutlich höherer oder geringerer Bedeutung sind, und b) ob sie in SC mit einfachen oder komplexen Regeln hergeleitet werden. Ergebnisse: In einer ersten Serie von 250 konsekutiven Fällen mit 934 Diagnosen (3,7 Diagnosen pro Fall) stimmten 71,1 % der Diagnosen zwischen Arzt und SC überein und wurden als konsistent mit der Befundeingabe gewertet. Jedoch wurden 24,4 % der von SC aus den Befunden abgeleiteten Diagnosen vom Untersucher nicht erwähnt (falsch negativ), 4,5 % wurden vom Untersucher angegeben, obwohl sie aus den Befunden nicht ableitbar waren (falsch positiv). Von den 24,4 % fehlenden Diagnosen gehörten 40 % zu der Diagnosegruppe mit höherer Relevanz für den Arzt. In einer zweiten Serie von 161 konsekutiven Fällen mit 501 Diagnosen (3,1 Diagnosen pro Fall) wurden 61,1 % als konsistent mit den Befunden, 36,1 % als falsch negativ und 2,8 % als falsch positiv gewertet. In dieser Studie wurden die fehlenden Diagnosen hinsichtlich ihrer Schlussfolgerungskomplexität untersucht: Von den 152 komplex hergeleiteten Diagnosen fehlten 44,1 %, während von den 349 mit einfachen Regeln hergeleiteten Diagnosen 32,7 % fehlten. Schlussfolgerung: Wie für die Ultraschallabteilung einer medizinischen Klinik gezeigt, muss mit Diskrepanzen zwischen formularbasiert dokumentierten Befunden und den freitextlichen diagnostischen Beurteilungen der Untersucher gerechnet werden. Da eine detaillierte Dokumentation von Befunden die Basis für eine Qualitätskontrolle ist, ist anzunehmen, dass ein automatischer Check auf Konsistenz zwischen dokumentierten Befunden und angegebenen Diagnosen die Qualität der Befundberichte erhöht. Dies kann durch ein wissensbasiertes Computerprogramm vereinfacht und automatisiert werden.

Key words

quality assurance - ultrasonography - computer-based diagnosis - expert system

Publication History

Received: 27 November 2005

Accepted: 20 March 2007

Publication Date:
21 December 2007 (online)

• Reference

• 1 Huettig M, Buscher G, Menzel T. et al A diagnostic expertsystem for structured reports, quality assessment, and training of residents in sonography.. Med Klin 2004; 99: 117-122
• 2 Dressler A. Diagnosekodierung medizinischer Freitexte - am Beispiel sonographischer Befundberichte,. Diplomarbeit Universität Würzburg, Institut für Informatik: 2005
• 3 Puppe F, Gappa U, Poeck K. et al Wissensbasierte Diagnose- und Informationssysteme,. Springer-Verlag; 1996
• 4 Puppe F. Knowledge Reuse among Diagnostic Problem Solving Methods in the Shell-Kit D3.. International Journal of Human-Computer Studies 1998; 49: 627-649
• 5 Buscher HP, Engler Ch, Fuehrer A. et al HepatoConsult: a knowledge-based second opinion and documentation system.. Art Intell Med 2002; 24: 205-216
• 6 Miller R, Masarie FE, Myers J. Quick medical reference (QMR) for diagnostic assistance.. Medical Computing 1986; 5: 34-38
• 7 Morris AH. Developing and implementing computerized Protocols for standardization of clinical decisions.. Ann Intern Med 2000; 132: 373-383
• 8 Kuhn K, Zemmler T, Reichert M. et al An integrated knowledge-based system to guide the physician during structured reporting.. Meth Inform Med 1994; 33: 417-422
• 9 Kuhn K, Gaus W, Wechsler JG. et al Structured reporting of medical findings: evaluation of a system in gastroenterology.. Meth Inform Med 1992; 31: 268-274
• 10 Darmoni SJ, Poynard T. Computer-aided decision support in hepatology.. Scand J Gastroenterol 1992; 27: 889-896
• 11 Berner ES, Webster GD, Shugerman AA. et al Performance of four computer-based diagnostic systems.. N Engl J Med 1994; 330: 1792-1796
• 12 Berner ES, Maisiak RS, Cobbs G. et al Effects of a decision support system on physicians’ diagnostic performance.. J Am Med Inform Assoc 1999; 6: 420-427
• 13 Guerlain S, Smith J, Rudmann S. et al Interactive Critiquing as a Form of Decision Support: An Empirical Evaluation.. Human Factors 1999; 41: 72-89
• 14 Puppe F. Meta Knowledge for Extending Diagnostic Consultation to Critiquing Systems,. Proc. of EKAW-99 11th European Workshop on Knowledge Acquisition, Modeling, and Management. Springer; 1999. LNAI 1621, 367-372
• 15 Seitz K. Zur Qualität der Oberbauchsonographie (Editorial).. Ultraschall in Med 2006; 27: 217-219