Sensitivity, Specificity, Receiver-Operating Characteristic (ROC) Curves and Likelihood Ratios for Electronic Foetal Heart Rate Monitoring using New Evaluation Techniques

Abstract

Objective: Hypoxia and acidosis adversely influence many foetal organ functions. We wanted to know how foetal heart rate (FHR) patterns are mirrored by the fetal acid-base status and if they could serve for predicting the actual pH in umbilical artery (UA) blood. For this purpose we condensed the FHR phenomena into one figure which was to be used as a testing variable and to analyse the performance of the new testing procedure.

Methods: The direct FHR signals of 475 foetuses were stored in a computer and analysed offline (MATLAB). All foetuses were delivered by the vaginal route thus without a significant loss of signals. The last 30 min of each recording were used. Acid-base variables and blood gases were determined in cord blood (UA and UV) using RADIOMETER equipments. Three variables of the foetal heart rate (FHR) were computed for each minute: oscillation amplitude [oza (bpm)], microfluctuation [ozm (N/min)] and mean frequency [fhm (bpm)]. These variables were combined to a new index, which we call the WAS index: WAS(t)=fhm(t) × ozf(t)/oza(t)
Using optimisation programmes this index was tailored to actual pH, UA leading to the novel, adapted index: WAS(t)=[fhm(t) × g fhm ] × [ozf(t) × g ozf ] × [oza(t) × goza ]−¹ ,where g fhm, g ozfand g oza denote three mathematical functions comparable to boundaries in discontinuous scoring-procedures, e. g., the APGAR score. The mean of the WAS index for the last 30 min of delivery is called the WAS score and is used as a discriminator in the testing procedure. WAS score and measured pHUA-values were submitted to correlation and linear regression analysis. Sensitivity, specificity, likelihood ratios, and post-test probabilities were computed including their 95% confidence intervals (CI). A ROC analysis was performed by applying different thresholds for pHUA.

Results: pH and WAS score are normally distributed in this sample. The correlation coefficient (r) for pHUA and the WAS score amounts to 0.657, P<<10⁻⁴. Using ROC plots the area under the curve (AUC) is steadily increased with decreasing pHUA reaching 1.0 for pH 7.0 indicating excellent test accuracy. The AUC for pHUA=7.100 is already 0.963±0.066, 95% CI (0.942–0.978), P<0.001. The positive likelihood ratios (+LR) far exceed 10.0 when lowering the threshold for pHUA. Aiming at a sensitivity of 100% the discriminatory power of the test becomes clinically an optimum when using a discriminator of 1.816 and a threshold pH of 7.122: Sensitivity=100%, specificity=89.3%, FNR=0%, FPR(%)=10.7% and AUC=0.958±0.049, 95% CI (0.936–0.974), P<0.001.

Conclusions: Computer-aided evaluation of FHR patterns leads to a novel index (WAS score) which predicts foetal acidaemia with a high level of accuracy. Therefore online WAS scoring is proposed as an ancillary test procedure for future evaluation of FHR patterns. The conventional EFM remains untouched.

Zusammenfassung

Hintergrund: Hypoxie und Azidose können viele Organfunktionen des Feten negativ beeinflussen. Wir haben untersucht, wie Herz-frequenz (FHF)-muster des Feten mit seinem Säure-Basen Status im Nabelarterien(NA)blut zusammenhängen und inwieweit diese Muster den aktuellen pHNA vorhersagen können. Zu diesem Zweck wurden die FHF-Muster in nur einer Zahl, dem WAS-Index zusammengefasst und dann die Vorhersagekraft dieser Maßzahl in Hinblick auf den pHNA analysiert.

Methodik: Das R-Zackensignal des F-EKG von 475 Feten wurde elektronisch gespeichert und offline mit eigenen Programmen (MATLAB) bearbeitet. Alle Kinder kamen vaginal, also ohne nennenswerten Signalverlust zur Welt. Von unterschiedlich langen Aufzeichnungen wurden jeweils nur die letzten 30 min verwendet. Die aktuellen Blutgase und die Parameter des Säure-Basen Haushaltes wurden im NA-Blut mit Geräten der Firma RADIOMETER (Kopenhagen) bestimmt. Pro Minute wurden drei Größen der FHF berechnet: die Oszillationsamplitude [oza, (SpM)], die Oszillationsfrequenz [ozf (N/Min)], hier Mikrofluktuation genannt und die mittlere Frequenz [fhm (SpM)]. Diese drei Größen wurden in einer neuen Maßzahl, dem WAS-Index zusammengeführt und mit einem Optimierungsprogram für die Vorhersage des pHNA adaptiert: WAS(t)=[fhm(t) × gfhm] × [ozf(t) × gozf] × [oza(t) × goza]⁻¹. gfhm usw. kennzeichnet die drei berechneten Gewichtungsfunktionen. Den Mittelwert für die letzten 30 WAS-indices nannten wir WAS-score; er diente als Diskriminator des Testverfahrens. WAS-Score und pHNA-Wert wurden miteinander korreliert (r) und die Testgrößen Sensitivität, Spezifität, Likelihood Quotienten (±LQ) sowie die post-test Wahrscheinlichkeiten jeweils mit ihren 95% Konfidenzintervallen berechnet. Für drei verschiedene Grenz-pHNA-Werte wurden ROC-Analysen durchgeführt.

Ergebnisse: pHNA und WAS-Score waren normal verteilt. Der Korrelationskoeffizient r betrug: 0,657, P<<10⁻⁴. Mit sinkendem pHNA nimmt die Fläche unter der Kurve (AUC) im ROC-plot stetig zu und erreicht bei einem pHNA von 7,0 den Wert 1,0, was auf eine sehr gute Testgenauigkeit hinweist. Für den pHNA=7,10 beträgt die AUC bereits 0,963±0,066, 95% CI (0,942–0,978), P<0,001. Mit sinkendem pHNA übersteigt der +LQ den Wert 10,0 sehr deutlich. Fasst man sinnvollerweise eine Sensitivität von 100% ins Auge so wird bei einem WAS-Score von 1,816 und dem pHNA-Wert 7,122 ein statistisches Optimum erreicht nämlich eine Spezifität von 89,3% und eine FPR von nur noch 10,7%; die AUC beträgt dann 0,958±0,049, 95% CI (0,936–0,974), P<0,001.

Schlussfolgerung: Die computer-gestützte Analyse FHF-Muster mit dem WAS-Score ermöglicht eine erstaunlich genaue Vorhersage des pHNA. Die online Bestimmung des WAS-Score sollte daher zukünftig als Hilfsmethode in Betracht gezogen werden. Das herkömmliche CTG bleibt davon völlig unberührt.

Key words

cardiotocography - WAS score - ROC analysis - foetal acid-base balance - likelihood ratios

Schlüsselwörter

Kardiotografie - WAS-Score - ROC-Analyse - Säure-Basen Haushalt - Likelihood Quotienten

References

• 1 ACOG practice bulletin No 70 Intrapartum fetal heart rate monitoring.  Obstet Gynecol. 2005;  106 1453-1461
• 2 Altman DG, Bland JM. Diagostic tests: predictive values.  BMJ. 1994;  309 102
• 3 American College of Obstetricians and Gynecologists. . Committee Opinion No 258 Fetal pulse oximetry.  Obstet Gynecol. 2001;  98 523-524
• 4 Amer-Wahlin I, Hellsten C, Noren H. et al . Cardiotocography only versus cardiotocography plus ST segment analysis of fetal electrocardiogram for intrapartum fetal monitoring: A Swedish randomized controlled trial.  Lancet. 2001;  358 534-538
• 5 Andres RL, Saade G, Gilstrap LC. et al . Association between umbilical blood gas parameters and neonatal morbidity and death with pathologic fetal academia.  Am J Obstet Gynecol. 1999;  181 867-871
• 6 Boehm FH. Intrapartum fetal heart rate monitoring.  Obstet Gynecol Clin North Amer. 1999;  26 623-639
• 7 Chien PFW, Khan KS. Evaluation of clinical test. II: Assesment of validity.  Br J Obstet Gynaecol. 2001;  108 568-572
• 8 Costa A, Ayres-de-Campos D, Costa F. et al . Prediction of acidemia by computer analysis of fetal heart rate and ST event signals.  Am J Obstet Gynecol. 2009;  201 464e1-466
• 9 Dawes GS, Rosevear SK, Pello LC. et al . Computerized analysis of episodic changes in fetal heart rate variation in early labor.  Am J Obstet Gynecol. 1991;  165 618-624
• 10 Dawes J, Meir YJ, Mandruzzato GP. Computerized evaluation of fetal heart-rate patterns.  J Perinat Med. 1994;  22 491-499
• 11 Deeks JJ, Morris JM. Evaluating diagnostic tests.  Bailliere's Clin Obstet Gynecol. 1996;  10 613-630
• 12 Dellinger EH, Boehm FH, Crane MM. Electronic fetal heart rate monitoring: Early neonatal outcomes associated with normal rate, fetal stress, and fetal distress.  Am J Obstet Gynecol. 2000;  182 214-220
• 13 Fagan TJ. Nomogram for Bayes’ theorem (letter).  N Engl J Med. 1975;  293 257
• 14 Freeman R. Intrapartum fetal monitoring – a disappointing story, (Letter to the editor).  N Engl J Med. 1990;  322 624-626
• 15 Gallagher EJ. Clinical utility of likelihood ratios.  Ann Emerg Med March. 1998;  31 391-397
• 16 Garite TJ, Dildy GA, McNamara H. et al . A multicenter controlled trial of fetal pulse oximetry in the intrapartum management of nonreassuring fetal heart rate patterns.  Am J Obstet Gynecol. 2000;  183 1049-1058
• 17 Gilstrap LC, Leveno KJ, Burris J. et al . Diagnosis of birth asphyxia on the basis of fetal pH, APGAR-score and newborn cerebral dysfunction.  Am J Obstet Gynecol. 1989;  161 825-830
• 18 Goldaber KG, Gilstrap LC, Leveno KJ. et al . Pathologic academia.  Obstet Gynecol. 1991;  78 1103-1106
• 19 Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve.  Radiology. 1982;  143 29-36
• 20 Macones GA, Hankins GDV, Spong CY. et al . The 2008 National Institute of Child Health and Human Development Workshop Report on electronic fetal monitoring.  Obstet Gynecol. 2008;  112 661-666
• 21 Metz CE. Basic principles of ROC analysis.  Sem Nuc Med. 1978;  8 283-298
• 22 National Institute of Child Health and Human Development Research Planning Workshop. . Electronic fetal heart rate monitoring: Research guidelines for interpretation.  Am J Obstet Gynecol. 1997;  177 1385-1390
• 23 Parer JT, King T, Flanders S. et al . Fetal acidemia and electronic fetal heart rate patterns: Is there evidence of an association?.  J Maternal Fetal Neonatal Med. 2006;  19 289-294
• 24 Roemer VM. Messgrößen in der Perinatalmedizin – der Basenexcess.  Z Geburtsh Neonatol. 2005;  209 81-89
• 25 Roemer VM. Outcome measures in perinatal medicine – pO₂ and sO₂ with remarks concerning fetal pulsoxymetry.  Z Geburtsh Neonatol. 2005;  209 173-185
• 26 Roemer VM. Über Sinn und Unsinn der pH-metrie im Nabelschnurblut.  Frauenarzt, Seminar des Frauenarztes. 1998;  39 775-781
• 27 Roemer VM. The influence of maternal respiration and muscular stress on fetal acid-base balance during delivery – an attempt at quantification.  Geburtsh Frauenheilk. 2007;  67 982-992
• 28 Roemer VM, Beyer B. Outcome measures in perinatal medicine – pH or BE. The thresholds of these parameters in term infants.  Z Geburtsh Neonatol. 2008;  12 136-146
• 29 Roemer VM. How to determine and use base excess (BE) in perinatal medicine.  Z Geburtsh Neonatol. 2007;  211 1-6
• 30 Roemer VM, Walden R. CTG-Pathologie: Ist eine kontinuierliche elektronische Diagnostik sub partu möglich?.  Gyn, praktische Gynäkologie. 2010;  15 130-138
• 31 Roemer VM, Walden R. A new approach to quantitative electronic foetal heart-rate analysis.  Z Geburtsh Neonatol. 2010;  214 1-10
• 32 Roemer VM, Walden R. Quantitative Cardiotocography – what does it look like and what can we expect.  Z Geburtsh Neonatol. 2006;  210 77-91
• 33 Roemer VM, Walden R. Neues Reparaturprogramm für FHF-Kurven.  Frauenarzt. 2007;  48 982-989
• 34 Simel DL, Samsa GP, Matchar DB. Likelihood ratios with confidence: sample size estimation for diagnostic test studies.  J Clin Epidemiol. 1991;  44 763-770
• 35 Thacker SB, Stroup D, Chang M. Continuous electronic heart rate monitoring for fetal assessment during labor (Cochrane Review). In: The Cochrane Library, Issue 2, 2001.. Oxford: Update software;
• 36 Wald N, Cuckle H. Reporting the assessment of screening and diagnostic test.  Brit J Obstet Gynaecol. 1989;  96 389-396
• 37 Walden R, Roemer VM. Methoden der rechnergestützten CTG-Analyse, In: Angewandte mathematische Modellierung und Optimierung (AMMO) an der Fachhochschule Bielefeld. 2009: S25-S26
• 38 Westgate J, Harris M, Curnow JSC. et al . Plymouth randomized trial of cardiotocogram only versus ST waveform plus cardiotocogram for intrapartum monitoring in 2400 cases.  Am J Obstet Gynecol. 1993;  169 1151-1160
• 39 Westgate JA, Wibbens B, Bennet L. et al . The intrapartum deceleration in center stage: a physiologic approach to the interpretation of fetal heart rate changes in labor.  Am J Obstet Gynecol. 2007;  197 236
• 40 Williams KP, Galerneau F. Intrapartum fetal heart rate patterns in the prediction of neonatal academia.  Am J Obstet Gynecol. 2003;  188 820-823
• 41 http://www. acomed-Statistic.de
• 42 http://www.mathworks.com
• 43 Zweig MH, Cambell G. Receiver-operating characteristic (ROC) plots: A fundamental evaluation tool in clinical medicine.  Clin Chem. 1993;  39 561-577

Correspondence