A Numerically Coded File of Operative Procedures Derived from a Free Text Data Collection System : A Measure of the Accuracy

A free text data collection system has been developed at the University of Illinois utilizing single word, syntax free dictionary lookup to process data for retrieval. The source document for the system is the Surgical Pathology Request and Report form. To date 12,653 documents have been entered into the system.

The free text data was used to create an IRS (Information Retrieval System) database. A program to interrogate this database has been developed to numerically coded operative procedures. A total of 16,519 procedures records were generated. One and nine tenths percent of the procedures could not be fitted into any procedures category; 6.1% could not be specifically coded, while 92% were coded into specific categories. A system of PL/1 programs has been developed to facilitate manual editing of these records, which can be performed in a reasonable length of time (1 week). This manual check reveals that these 92% were coded with precision = 0.931 and recall = 0.924. Correction of the readily correctable errors could improve these figures to precision = 0.977 and recall = 0.987. Syntax errors were relatively unimportant in the overall coding process, but did introduce significant error in some categories, such as when right-left-bilateral distinction was attempted.

The coded file that has been constructed will be used as an input file to a gynecological disease/PAP smear correlation system. The outputs of this system will include retrospective information on the natural history of selected diseases and a patient log providing information to the clinician on patient follow-up.

Thus a free text data collection system can be utilized to produce numerically coded files of reasonable accuracy. Further, these files can be used as a source of useful information both for the clinician and for the medical researcher.

An der Universität Illinois ist ein Klartext-Datensammelsystem entwickelt worden, welches zum Datenretrieval ein syntaxfreies, maschinengespeichertes Einzelwort-Lexikon verwendet. Das Ausgangsdokument für das System ist das Surgical Pathology Request and Report Formular. Bis heute sind 12 653 Dokumente in das System eingespielt worden.

Die Klartextdaten wurden benutzt, um eine 1RS (Information Retrieval System) Datensammlung zu schaffen. Ein Programm zur Befragung dieser Datensammlung ist für numerisch verschlüsselte Operationsverfahren entwickelt worden. Insgesamt wurden 16 519 Operationsberichte erstellt. 1,9% der Operationsverfahren konnten nicht in eine Kategorie eingeordnet werden; 6,1% konnten nicht spezifisch verschlüsselt werden, während 92% in spezifische Kategorien eingeordnet wurden. Um die manuelle Überarbeitung dieser Berichte in einer angemessenen Zeitspanne (eine Woche) zu gestatten, wurde ein System von PL/1 Programmen entwickelt. Die manuelle Überprüfung ergab, daß diese 92% mit einer Präzision von 0,931 und einer Recall-Rate von 0,924 verschlüsselt wurden. Bei Korrektur leicht zu verbessernder Fehler konnte die Präzision auf 0,977 und die Recall-Rate auf 0,987 verbessert werden. Im gesamten Kodierungsprozeß waren Syntaxfehler relativ unbedeutend, brachten jedoch wesentliche Fehler in manche Kategorien ein, so z.B. wenn eine Unterscheidung in rechts-links-bilateral versucht wurde.

Die so erstellte verschlüsselte Datei wird als Eingabematerial für ein Korrelationssystem »Gynäkologische Krankheit/PAP-Abstrich« benutzt. Die Ausgabe dieses Systems enthält retrospektive Informationen über den Verlauf ausgewählter Krankheiten und ein Patienten-Logbuch mit Informationen für den Kliniker hinsichtlich der Patientennachsorge.

So kann ein Klartext-Datensammelsystem dazu benutzt werden, um mit hinreichender Genauigkeit numerisch verschlüsselte Dateien zu erstellen. Weiterhin können diese Datenbestände als eine Quelle nützlicher Informationen sowohl für den Kliniker als auch für den medizinischen Forscher dienen.

Key-Words

Automatic Coding - Free Text Processing - Surgical Operative Procedures

Schlüssel-Wörter

Automatische Verschlüsselung - Klartextverarbeitung - chirurgische Operationsverfahren

• References

• 1 Becker H, Breitenlohner H, Lang Chr, Schwartz F. Computer application in pathology: Methods and experience following evaluation of 27,000 autopsy protocols. Meth. Inform. Med 8 1969; 60-67.
• 2 Bross I. D. J, Priore R. L, Shapiro P. A, Stermole D. F, Anderson B. B. Feasibility of automated information systems in the users’ natural language. Amer. Sci 57 1969; 193-205.
• 3 Collen M. F. General requirements for a medical information system (MIS). Comp, biomed. Res 3 1970; 363-406.
• 4 Davis L. S. Prototype for future computer medical records. Comp, biomed. Res 3 1970; 539-554.
• 5 Davis L. S. A system approach to medical information. Meth. Inform. Med 12 1973; 1-5.
• 6 Feinstein A. R. Quality of data in the medical record. Comp, biomed. Res 3 1970; 426-435.
• 7 Flagle C. D. Evaluation techniques for medical information systems. Comp, biomed. Res 3 1970; 407-414.
• 8 Gaynon P, Wong R. L. A retrieval system for a library of pathology reports, slides and kodachromes. Meth. Inform. Med 11 1972; 152-162.
• 9 Gell G, Becker H. Free text analysis of biopsy findings using videodisplay. Meth. Inform. Med 12 1973; 10-16.
• 10 Graepel P. H, Henson D. E, Pratt A. W. Comments on the use of the Systematized Nomenclature of Pathology. Meth. Inform. Med 14 1975; 72-75.
• 11 Jacobs H. A natural language information retrieval system. Meth. Inform. Med 7 1968; 8-16.
• 12 Jydstrup R. W, Gross M. J. Cost of information handling in hospitals. Health Serv. Res 1 1966; 235-271.
• 13 Kayser K, Höpker W. W. Formal consideration on text analysis in anatomic pathology. Meth. Inform. Med 12 1973; 143-146.
• 14 Korein J, Bender A. L, Rothenberg D, Tick L. J. Computer processing of medical data by variable-field-length format. J. Amer. med. Ass 196 1966; 957-963.
• 15 Korein J, Goodgold A, Randt C. T. Computer processing of narrative medical data: A critical evaluation of results in 100 cases of head injuries. Neurology 16 1966; 848-857.
• 16 Korein J, Tick L. J, Woodbury M. A, Cady L. E, Goodgold A. L, Randt C. T. Computer processing of medical data by variable-field-length format. J. Amer. med. Ass 186 1963; 132-138.
• 17 Lamson B. E, Russell W. S, Fullmore J, Nix W. E. The first decade of effort: Progress toward a hospital information system at the UCLA Hospital, Los Angeles, California. Meth. Inform. Med 9 1970; 73-80.
• 18 Platt R. C, Wong R. L, Lantner K. W, Gaynon P. S. POLARS : A pathology on-line logging and reporting system. Comp, biomed. Res 7 1974; 1-17.
• 19 Pratt A. W, Pacak M. Identification and transformation of terminal morphemes in medical English. Meth. Inform. Med 8 1969; 84-90.
• 20 Richart R. H. Evaluation of a medical data system. Comp, biomed. Res 3 1970; 415-425.
• 21 Robinson III R. E. Acquisition and analysis of narrative medical data. Comp, biomed. Res 3 1970; 495-509.
• 22 Röttger P, Reul H, Klein I, Sunkel H. The automatic handling and statistical evaluation of pathologic-anatomical findings. Meth. Inform. Med 8 1969; 19-26.
• 23 Röttger P, Reul H, Sunkel H, Klein I. New possibilities of statistical evaluation of autopsy records : Computer free text analysis. Meth. Inform. Med 9 1970; 35-44.
• 24 Seed J. C. Restricted data formats. Ann. N.Y. Acad. Sci 161 1969; 484-526.
• 25 Shapiro P. A. ACORN: An automated coder of report narrative. Meth. Inform. Med 6 1967; 153-162.
• 26 White D. Information processing of medical records — state of the art: April 1970. Meth. Inform. Med 9 1970; 189-193.
• 27 Wong R. L, Gaynon P. An automated parsing routine for diagnostic statements of surgical pathology reports. Meth. Inform. Med 10 1971; 168-175.