Abstract
Purpose: Sonographic reports are examiner-dependent and may not always be reliable. We investigated concordance between documented findings and diagnostic conclusions - not the objective correctness of both - with the help of a knowledge-based documentation system. Materials and Methods: The knowledge-based documentation system SonoConsult (SC) is routinely used in the ultrasound unit of a gastroenterological clinic for more than four years. Physicians documented findings with goal directed questionnaires, and diagnostic conclusions with free text. The consistency of documented findings and diagnoses was checked with the help of SC in a two-step process: 1. the diagnoses inferred by SC based on the documented findings were compared to the diagnoses of the physicians stated as free text. 2. In case of discrepancies, a more thorough comparison was performed manually by the medical authors of this study. For judging the practical relevance of discrepancies, diagnostic codes were pre-classified as a) being presumably of higher and lower relevance for the clinician and b) requiring simple or complex inference rules from the findings. Results: In a first series of 250 consecutive cases with 934 diagnoses (3.7 diagnoses per case), 71.1 % showed agreement between diagnoses of the physicians and of SC and were judged as consistent compared to the documented findings. 24.4 % of the diagnoses suggested by the documented findings, however, were not mentioned by the physicians (false negative) and 4.5 % were mentioned by the physicians but not suggested by the documented findings (false positive). From the 24.4 % missing diagnoses, 40 % were pre-classified as being of higher relevance for the clinician. In a second series of 161 consecutive cases with 501 diagnoses (3.1 diagnoses per case), 61.1 % were judged as consistent compared to the documented findings, 36.1 % false negative and 2.8 % false positive. In this study, we differentiated the missing diagnoses due to their inferential complexity: From the 152 complex diagnoses, 44 % were missing, while from the 349 simple diagnoses, 32.7 % were missing. Conclusion: As shown for a sonographic department of a clinic of internal medicine, in sonographic reports, one has to be aware of discrepancies between question-set-based documentations of findings and diagnostic conclusions of the examiners. While a detailed documentation of findings is the basis of quality control, consistency checks between documented findings and diagnostic conclusions, which might be done automatically in an electronic patient record, would considerably improve the quality of the reports.
Zusammenfassung
Ziel: Sonografische Befundberichte sind untersucherabhängig und erweisen sich daher nicht immer als verlässlich. Wir untersuchten die Übereinstimmung zwischen den in Computerformularen dokumentierten Befunden und den in der Beurteilung freitextlich angegebenen Diagnosen - nicht die Korrektheit von beiden - mithilfe eines wissensbasierten Computerprogramms. Material und Methoden: Das wissensbasierte Dokumentationssystem SonoConsult (SC) wird seit mehr als 4 Jahren in der Ultraschallabteilung einer gastroenterologischen Klinik verwendet. Die Untersucher gaben die Untersuchungsbefunde in von SC fallbezogen präsentierte Computerfragebogen ein und schrieben die Diagnosen in ein Freitextfeld. Die Konsistenz zwischen Befunden und Diagnosen wurde mithilfe von SC in zwei Schritten überprüft: 1. Die Diagnosen, die von den Untersuchern angegeben wurden, wurden mit denen verglichen, die SC aus ihnen geschlossen hatte. 2. Im Falle von Diskrepanzen wurde durch die Autoren der Studie eine manuelle Überprüfung durchgeführt. Um die praktische Relevanz von Diskrepanzen zu beurteilen, wurden die Diagnosen danach eingeteilt, a) ob sie für die ärztliche Behandlung von vermutlich höherer oder geringerer Bedeutung sind, und b) ob sie in SC mit einfachen oder komplexen Regeln hergeleitet werden. Ergebnisse: In einer ersten Serie von 250 konsekutiven Fällen mit 934 Diagnosen (3,7 Diagnosen pro Fall) stimmten 71,1 % der Diagnosen zwischen Arzt und SC überein und wurden als konsistent mit der Befundeingabe gewertet. Jedoch wurden 24,4 % der von SC aus den Befunden abgeleiteten Diagnosen vom Untersucher nicht erwähnt (falsch negativ), 4,5 % wurden vom Untersucher angegeben, obwohl sie aus den Befunden nicht ableitbar waren (falsch positiv). Von den 24,4 % fehlenden Diagnosen gehörten 40 % zu der Diagnosegruppe mit höherer Relevanz für den Arzt. In einer zweiten Serie von 161 konsekutiven Fällen mit 501 Diagnosen (3,1 Diagnosen pro Fall) wurden 61,1 % als konsistent mit den Befunden, 36,1 % als falsch negativ und 2,8 % als falsch positiv gewertet. In dieser Studie wurden die fehlenden Diagnosen hinsichtlich ihrer Schlussfolgerungskomplexität untersucht: Von den 152 komplex hergeleiteten Diagnosen fehlten 44,1 %, während von den 349 mit einfachen Regeln hergeleiteten Diagnosen 32,7 % fehlten. Schlussfolgerung: Wie für die Ultraschallabteilung einer medizinischen Klinik gezeigt, muss mit Diskrepanzen zwischen formularbasiert dokumentierten Befunden und den freitextlichen diagnostischen Beurteilungen der Untersucher gerechnet werden. Da eine detaillierte Dokumentation von Befunden die Basis für eine Qualitätskontrolle ist, ist anzunehmen, dass ein automatischer Check auf Konsistenz zwischen dokumentierten Befunden und angegebenen Diagnosen die Qualität der Befundberichte erhöht. Dies kann durch ein wissensbasiertes Computerprogramm vereinfacht und automatisiert werden.
Key words
quality assurance - ultrasonography - computer-based diagnosis - expert system
