Determining the Most Valuable Clinical Variables : a Stepwise Multiple Logistic Regression Program^[*]

In solving a clinical problem of diagnosis, prognosis, or treatment choice, a physician must select from among a large group of possible tests. In general, an ordering exists specifying which tests are most valuable in providing relevant information concerning the problem on hand. The computer program package to be described (MW) extracts appropriate data from the ARAMIS data banks and then analyzes the data by stepwise logistic regression. A binary outcome (diagnosis, prognostic event, or treatment response) is sequentially associated with possible tests, and the most powerful combination of tests is identified. For example, the most valuable predictor variable of early mortality in SLE is proteinuria, followed sequentially by anemia and absence of arthritis. Experience with these techniques suggests : 1. optimal certainty is usually reached after only three or four tests; 2. several different test sequences may lead to the same level of certainty; 3. diagnosis may usually be ascertained with greater certainty than prognosis; 4. many medical problems contain considerable non-reducible uncertainty; 5. a relatively small group of tests are typically found among the most powerful; 6. results are consistent across several patient populations; 7. results are largely independent of the particular statistic employed. These observations suggest strategies for maximizing information while minimizing risk and expense.

Um ein klinisches Problem der Diagnose, Prognose oder Therapiewahl zu lösen, muß der Arzt eine Auswahl aus einer großen Gruppe möglicher Untersuchungen treffen. Im allgemeinen gibt es Erfahrungswerte darüber, welche Tests für die Gewinnung relevanter Informationen über das jeweils vorliegende Problem von größtem Wert sind.

Das hier zu beschreibende Computerprogrammpaket (MW) entnimmt die entsprechenden Daten aus den ARAMIS-Datenbanken und analysiert sie sodann durch schrittweise logistische Regression. Ein binäres Resultat (Diagnose, prognostisches Ereignis oder Ansprechen auf Behandlung) wird sequentiell mit verschiedenenen Tests assoziiert, und die wirkungsvollste Kombination von Tests wird identifiziert. Beispielsweise ist die für die Vorhersage der Frühsterblichkeit beim systematischen Lupus erythematodes (SLE) wertvollste Variable die Eiweißausscheidung im Urin; es folgen Anämie und Fehlen von Arthritis.

Die Erfahrung mit diesen Techniken läßt vermuten: 1. Optimale Sicherheit wird gewöhnlich erst nach drei oder vier Tests erreicht; 2. verschiedene Testfolgen können zum gleichen Grad von Sicherheit führen; 3. die Diagnose kann in der Regel mit größerer Sicherheit gestellt werden als die Prognose; 4. bei vielen medizinischen Problemen läßt sich ein erhebliches Maß von Unsicherheit nicht beseitigen ; 5. eine relativ Heine Gruppe von Tests wird typischerweise unter den aussagekräftigsten gefunden; 6. ihre Ergebnisse stimmen für zahlreiche Patientenpopulationen überein ; 7. die Ergebnisse sind großenteils unabhängig von den jeweils angewandten statistischen Methoden.

Diese Beobachtungen bieten Strategien an, um mehr Information bei weniger Risiko und Kosten zu erhalten.

Key-Words:

Computer-assisted Decision Making - Clinical Data Banks - Logistic Regression - Diagnosis - Prognosis

Schlüssel-Wörter:

Computerunterstützte Entscheidungsfindung - klinische Datenbanken - logistische Regression - Diagnose - Prognose

^* This work was supported, in part, by Grant No. AM 21393, by the NIAMDD to the ARAMIS Project.

• References

• 1 Bahadur R. R. A Representation of the Joint Distribution of Responses to n Dichotomous Items. In Solomon H. (Edit.) Studies in Item Analysis and Prediction Stanford Univ. Press; 1961: 158-168.
• 2 Cox D. R. The Analysis of Binary Data. London: Methuen & Co., Ltd; 1970
• 3 Dannenberg A. L, Shapiro A. R, Fries J. F. Enhancement of Clinical Predictive Ability by Computer Consultation. Meth. Inform. Med. 1979; 18: 10-14.
• 4 Efron B. The Efficiency of Logistic Regression Compared to Normal Discriminant Analysis. J. Amer, statist. Ass 1975; 70: 897-898.
• 5 Fries J. F. A Data Bank for the Clinician. New Engl. J. Med 1976; 394: 1400-1402.
• 6 Fries J. F. The Clinical Aspects of Systemic Lupus Erythematosus. Med. Clin. N. Amer 1977; 61: 229-240.
• 7 Fries J. F, Coles L. S, Brown B. W. Toward Rational Investigation of the Patient: The Most Valuable Variables. Proceedings of the Robert Wood Johnson Clinical Scholars Program Annual Meeting, Phoenix, Arizona, Nov. 1978; 1-4.
• 8 Fries J. F, Hoiman H. R. Systemic Lupus Erythematosus: A Clinical Analysis. (Major Problems in Internal Medicine, Vol. 6) . Philadelphia: Saunders; 1975
• 9 Fries J. F, Porta J, Liang M. H. Marginal Benefit of Renal Biopsy in Systemic Lupus Erythematosus. Arch, intern. Med 1978; 138: 1386-1389.
• 10 Fries J. F, Weyl S, Holman H. R. Estimating Prognosis in Systemic Lupus Erythematosus. Amer. J. Med 1974; 57: 561-565.
• 11 Gorry G. A, Barnett G. O. Sequential Diagnosis by Computer. J. Amer. med. Ass 1968; 205: 141-146.
• 12 Hadley G. Introduction to Probability and Statistical Decision Theory. San Francisco: Holden Day; 1967
• 13 Halperin M, Blackwalder W. C, Benter J. I. Estimation of the Multivariate Logistic Risk Function and Maximum Likelihood Approaches. J. chron. Dis 1971; 24: 125-158.
• 14 Howard R. A. The Foundations of Decision Analysis. IEEE Trans. Systems Sci. Cybern SSG 1968; 4: 211-219.
• 15 Kendall M. G, Stuart A. The Advanced Theory of Statistics. Vol. 1 : Distribution Theory. New York: Hafner Publ. Co; 1952
• 16 Lachenbruch P. A, Mickey M. R. Estimation of Error Rates in Discriminant Analysis. Technometrics 1968; 10: 1-11.
• 17 Mcneer J. F, Wagner G. S, Ginsburg P. B, Wallace A. G, Mccants C. B, Conley M. J, Rosati R. A. Hospital Discharge One Week after Acute Myocardial Infarction. New Engl. J. Med 1978; 298: 229-232.
• 18 Mcshane D. J, Fries J. F. ARAMIS: The Pilot National Arthritis Data Resource. Proceedings of the USA/Japan Computer Conference. San Francisco; California: Oct 1978: 10-12.
• 19 North W. A Tutorial Introduction to Decision Theory. IEEE Trans. Systems Sci. Cybern SSG 1968; 4: 200-210.
• 20 Patrick E. A, Stelmack F. P, Shen L. Y. Review of Pattern Recognition in Medical Diagnosis and Consulting Relative to a New System Model. Proc. IEEE Trans. Systems Man Cybern SMC 1974; 4: 1-16.
• 21 PL/X. Stanford Center for Information Processing, SCIP Document 204 Stanford University, Stanford; California: June 1977
• 22 Raiffa H. Decision Analysis. New York: Addison Wesley; 1968
• 23 Shapiro A. R. The Evaluation of Clinical Predictions: A Method and Initial Application. New Engl. J. Med 1977; 296: 1509-1514.
• 24 Weyl S, Fries J. F, Wiederhold G, Germano F. A Modular Self-Describing Clinical Databank System. Comput. biomed. Res 1975; 8: 1-51.
• 25 Wiederhold G, Fries J. F, Weyl S. Structural Organization of Clinical Data Bases. AFIPS Conference Proceedings 1975; 44: 479-485.
• 26 Winkel P, Lyngborg K, Olesen K. H, Meibom J, Hansen P. F. A Method for Systematic Assessment of the Relative Prognostic Significance of Symptoms and Signs in Patients with a Chronic Disease. Part 1 : Description of Model and Selection of Prognostically Significant Symptoms and Signs. Comput. biomed. Res 1972; 5: 576-583.
• 27 Winkel P, Lyngborg K, Olesen K. H, Meibom J, Hansen P. F. A Method for Systematic Assessment of the Relative Prognostic Significance of Symptoms and Signs in Patients with a Chronic Disease. Part 2 : Analysis of Validity of Model and Derivation of Major Prognostic Stages. Comput. biomed. Res 1973; 6: 457-464.