Descriptive Data Analysis: A Concept between Confirmatory and Exploratory Data Analysis

Summary

Confirmatory Data Analysis (CDA) in randomized comparative (“controlled”) studies with many variables and/or time points of interest finds its limitations in the multiplicity of desired inferential statements which leads to unfeasibly small adjusted significance levels (“Bon-ferronization”) and, thereby, to unduly increased risks of not rejecting false hypotheses. In general, analytical models adequate for such complex data structures and suitable for practical use do not exist as yet. Exploratory Data Analysis (EDA), on the other hand, is usually intended to generate hypotheses and not to lead to final conclusions based on the results of the study.

In this paper, it is proposed to fill the conceptual gap between CDA and EDA by “Descriptive Data Analysis” (“DDA”) which concept is mainly based on descriptive inferential statements. The results of a DDA in a controlled study are interpreted simultaneously on the basis of the investigator’s experience with respect to numerically relevant treatment effect differences and on “descriptive significances” as they appear in “near regular” patterns corresponding to the resulting relevant effect differences. A DDA may also contain confirmatory parts and/or tests on global hypotheses at a prechosen maximum risk α of erroneously rejecting true hypotheses. The paper is in parts expository and is addressed to investigators as well as statisticians.

Die Anwendungsmöglichkeiten der konfirmatorischen Datenanalyse (CDA) in randomisier-ten, vergleichenden (»kontrollierten«) Studien mit vielen interessierenden Variablen und/oder Zeitpunkten sind dadurch begrenzt, daß wegen der gewünschten zahlreichen Inferenzaussagen die zu adjustierenden Signifikanzschwellen zwangsweise unmäßig klein werden. Aufgrund dieser »Bonferronisierung« werden die Risiken für irrtümlich beibehaltene Hypothesen untragbar hoch. Es gibt bis heute im allgemeinen auch keine Auswertungsmodelle, die den Strukturen derart komplexer Studien gerecht werden und gleichzeitig praktisch verwendbar sind. Die explorative Datenanalyse (EDA) ist demgegenüber für die Erzeugung von Hypothesen gedacht und nicht dafür, endgültige Schlüsse aus den Studienresultaten zu ziehen. In der vorliegenden Arbeit wird vorgeschlagen, die konzeptuelle Lücke zwischen CDA und EDA durch »Deskriptive Datenanaiyse« (DDA) zu füllen, wobei dieses Konzept hauptsächlich auf deskriptiven Inferenzaussagen beruht. Danach werden die Ergebnisse der Analyse in einer kontrollierten Studie simultan interpretiert: zum einen auf der Basis der Erfahrung des Substanzwissenschaftlers bezüglich numerisch relevanter Wirkungsdifferenzen und zum anderen auf derjenigen »deskriptiver Signifikanzen«, falls diese in »nahezu regulären« Mustern in Korrespondenz zu den relevanten Wirkungsdifferenzen auftreten. Eine DDA kann auch konfirmatorische Teile und/oder Tests für globale Hypothesen enthalten, wobei ein vorgewähltes maximales Risiko α für die irrtümliche Ablehnung der Hypothesen eingehalten wird. Die Arbeit hat zum Teil einführenden Charakter und wendet sich sowohl an Substanzwissenschaftler als auch an Statistiker.

Key-Words

Controlled Study - Confirmatory - Exploratory - Multiple Testing - Bonferroniza-tion - p-Values - Descriptive Significances

Schlüssel-Wörter

Kontrollierte Studie - konfirmatorisch - exploratorisch - mehrfaches Testen - Bonferronisierung - p-Werte - deskriptive Signifikanzen

• REFERENCES

• 1 Abt K. On the identification of the significant independent variables in linear models. Metrika 1967; 12 1-15 81-96.
• 2 Abt K. Problems of repeated significance testing. Contr. clin. Trials 1981; 1: 377-381.
• 3 Abt K. On the non-validity of elementary null-hypotheses rejected at the nominal significance level of the “Rüger test”(Proceedings 8/1981 Mediz. Statistik, Mathem. Forschungsinstitut Oberwolfach. 1981
• 4 Abt K. Significance testing of many variables – Problems and solutions. Neuro-psychobiology 1983; 9: 47-51.
• 5 Abt K. Deskriptive Statistik als eigenständige Methode der Biometrie. Bi-annual meeting. Austro-Swiss Region Biometric Soc: Basel; 1983
• 6 Abt K. Descriptive Data Analysis (DDA) Versus Confirmatory Data Analysis (CDA) in statistically planned neuropharmacological studies. Paris: Congrès International du traitement du Signal; 1984
• 7 Anscombe F. J. Sequential medical trials. J. Amer. stat. Ass 1963; 55: 365-383.
• 8 Armitage P. Controversies and achievements in clinical trials. Contr. clin. Trials 1984; 5: 67-72.
• 9 Bock H. H. Explorative Datenanalyse. Medizinische Informatik und Statistik. Vol.26, pp. Berlin – Heidelberg: Springer; 1980: 6-37.
• 10 Brown Jr B. W. Statistical controversies in the design of clinical trials – Some personal views. Contr. clin. Trials 1980; 1: 13-27.
• 11 Cox D. R. The role of significance tests. Scand. J. Statist 1977; 4: 49-70.
• 12 Cutler S. J, Greenhouse S. W, Cornfield J, Schneiderman M. A. The role of hypothesis testing in clinical trials. J. chron. Dis 1966; 19: 857-882.
• 13 Dunnett C. W. A multiple comparison procedure for comparing several treatments with a control. J. Amer. stat. Ass 1955; 50: 1096-1121.
• 14 Edgington E. S. Randomization Tests. New York and Basel: Marcel Dekker Inc; 1980
• 15 Gibbons J. D, Pratt J. W. P-values: Interpretation and methodology. Amer. Statist 1975; 29: 20-25.
• 16 Holm St. A simple sequentially rejective multiple test procedure. Scand. J. Stat 1979; 6: 65-70.
• 17 Hommel G. Tests of the overall hypothesis for arbitrary dependence structures. Biom. Journ 1983; 25: 423-430.
• 18 Hornung J. Kritik der Signifikanztests. Metamed 1977; 1: 325-345.
• 19 Ihm P. Explorative und Konfirmatorische Datenanalyse – Gegensatz oder Ergänzung. Medizinische Informatik und Statistik, Vol. 26, pp. Berlin -Heidelberg – New York: Springer; 1980: 38-53.
• 20 Koller S. Risikofaktoren der Schwangerschaft. Berlin – Heidelberg – New York: Springer; 1983
• 21 Matejcek M, Neff G, Abt K, Wehrli W. Pharmaco-EEG and psychometric study of the effect of single doses of temazepam and nitrazepam. Neuro-psychobiology 1983; 9: 52-65.
• 22 Miller Jr R. G. Simultaneous statistical inference. Berlin – Heidelberg -New York: Springer; 1981.
• 23 Mosteller F, Gilbert J. P, McPeek B. Reporting standards and research strategies for controlled trials. Contr. clin. . Trials 1980; 1: 37-58.
• 24 Rüger B. Das maximale Signifikanz-niveau des Tests: “Lehne H_oab, wenn k unter H gegebenen Tests zur Ablehnung führen.”. Metrika 1978; 25: 171-178.
• 25 Schneider B. The role of hypothesis testing in clinical trials. Meth. Inform. Med 1981; 20: 65-66.
• 26 Schneider B. Bayesian models for clinical studies. Meth. Inform. Med 1984; 23: 147-153.
• 27 Schneider B. Zur Rolle der Signifikanztests in der Arzneimittelforschung. Arz-neim.-Forsch 1985; 35: 568-569.
• 28 Seeger P. Variance analysis of complete designs. Uppsala: Almquist and Wiksell; 1966
• 29 Sonnemann E. Allgemeine Lösungen multipler Testprobleme. EDV Med. Biol 1982; 13: 120-128.
• 30 Tukey J. W. The future of data analysis. Ann. Math. Statist 1962; 33: 1-67.
• 31 Tukey J. W. We need both Exploratory and Confirmatory. Amer. Statist 1980; 34: 23-25.
• 32 Victor N. Stellung der Explorativen Datenanalyse (EDA) im Rahmen der Statistik. Medizinische Informatik und Statistik, Vol. 26. Berlin -Heidelberg – New York: Springer; 1980: 2-5.
• 33 Victor N. Exploratory Data Analysis and clinical research. Meth. Inform. Med 1982; 21: 53-54.
• 34 Weber E. E, Barocka K. H, Haufe W, Oltmann W. Die Beziehungen zwischen Witterungsfaktoren und Ertragsmerkmalen bei der Zuckerrübe. Zschr. für Acker-und Pflanzenbau 1966; 124: 134-164.