Shifting from Theoretical Best Evidence to Practical Best Evidence:
                    an Approach to Overcome Structural Conservatism of Evidence-Based Medicine and
                    Health Policy

Holger Pfaff; Jochen Schmitt

doi:10.1055/a-2350-6435

Das Gesundheitswesen, Table of Contents

CC BY-NC-ND 4.0 · Gesundheitswesen 2024; 86(S 04): S239-S250
DOI: 10.1055/a-2350-6435

Original Article

Von der theoretisch besten Evidenz zur praktisch besten Evidenz: ein Ansatz zur Überwindung des Strukturkonservatismus in der evidenzbasierten Medizin und Gesundheitspolitik

Article in several languages: English | deutsch

Holger Pfaff

¹University of Cologne, Faculty of Human Sciences & Faculty of Medicine and University Hospital Cologne, Institute of Medical Sociology, Health Services Research and Rehabilitation Science, Chair of Quality Development and Evaluation in Rehabilitation; Cologne, Germany

,

Jochen Schmitt

²Zentrum für Evidenzbasierte Gesundheitsversorgung, Med. Fakultät der TU Dresden, Universitätsklinikum Carl Gustav Carus Dresden, Dresden, Germany

› Author Affiliations

Abstract

Zusammenfassung

Im Gesundheitswesen ist ein Missverhältnis zwischen dem Ausmaß an Innovationen in Bezug auf medizinische Produkte (z. B. Arzneimittel) und dem Ausmaß an Innovationen in Bezug auf Versorgungsstrukturen festzustellen. Dies liegt nicht daran, dass es an Ideen, Konzepten und (quasi-)experimentellen Studien zu Versorgungsorganisationen mangelt. In diesem Beitrag stellen wir vielmehr die These auf, dass wir es mit einer schleppenden Implementierung von Strukturinnovationen zu tun haben und dass dies zum einen daran liegt, dass das EbM-Instrumentarium zwar sehr gut zur Evaluation von Produktinnovationen geeignet ist, aber nur bedingt zur Bewertung von Strukturinnovationen. Wir zeigen in diesem Aufsatz, dass sich aus dem ungewollten Zusammenspiel aus einem über die Zeit deutlich veränderten, nun vor allem theoretischen EbM-Verständnis und gesundheitspolitischer Vorsicht und Trägheit ein systematischer Strukturkonservatismus resultiert. Strukturkonservatismus ist gegeben, wenn die Strukturen des Gesundheits- und Versorgungssystems ein starkes Beharrungsvermögen aufweisen und gegenüber Innovationen weitgehend resistent sind. Dieses Phänomen interpretieren wir als eine unintendierte Folge absichtsvollen EbM-Handelns. Um auch bezogen auf Strukturinnovationen in der Gesundheitsversorgung handlungsfähig zu sein, schlagen wir einen neue Bewertungsrahmen vor, in dessen Mitte eine Differenzierung zwischen der theoretisch bestmöglichen Evidenz, der praktisch bestmöglichen Evidenz und der bestverfügbaren Evidenz steht.

Schlüsselwörter

Evidenzbasierte Medizin - Gesundheitspolitik - Strukturkonservatismus - Innovation - Unsicherheit - Entscheidung

Full Text

References

References
1 Krumholz HM, Terry SF, Waldstreicher J. Data acquisition, curation, and use for a continuously learning health system. JAMA 2016; 316: 1669-1670
2 Touati N, Denis J-L, Roberge D. et al. Learning in health care organizations and systems: An alternative approach to knowledge management. Administration & Society 2015; 47: 767-801
3 Berwick DM, Nolan TW, Whittington JC. The triple aim: care, health, and cost. Health Aff 2008; 27: 759-769
4 Sikka R, Morath JM, Leape L. The Quadruple Aim: care, health, cost and meaning in work. BMJ Quality & Safety 2015; 24: 608
5 Bodenheimer T, Sinsky C. From triple to quadruple aim: care of the patient requires care of the provider. Ann Fam Med 2014; 12: 573-576
6 Itchhaporia D. The Evolution of the Quintuple Aim: Health Equity, Health Outcomes, and the Economy. Journal of the American College of Cardiology 2021; 78: 2262-2264
7 Heytens H, Walther F, Keßler L. et al. [Characteristics of Innovation Fund-supported Intervention Studies: Review and Document Analysis of Study Protocols, Publications and Final Reports]. Gesundheitswesen 2021; 83: e20-e37
8 Wensing M, Grol R. Methods to identify implementation problems. In: Grol R, Wensing M, Eccles M, Hrsg. Improving patient care: The implementation of change in clinical practice. Edinburgh: Elsevier; 2005: 109-120
9 Dixon-Woods M, Amalberti R, Goodman S. et al. Problems and promises of innovation: why healthcare needs to rethink its love/hate relationship with the new. BMJ Qual Saf 2011; 20: i47-i51
10 Wensing M, Grol R, Grimshaw J. Hrsg. Improving patient care: The implementation of change in health care. Hoboken, NJ: Wiley-Blackwell; 2020
11 May C. A rational model for assessing and evaluating complex interventions in health care. BMC Health Serv Res. 2006 6.
12 May C. Agency and implementation: Understanding the embedding of healthcare innovations in practice. Part Special Issue: Place, migration & health 2013; 78: 26-33
13 Mercuri M, Baigrie B, Upshur REG. Going from evidence to recommendations: Can GRADE get us there?. J Eval Clin Pract 2018; 24: 1232-1239
14 Sackett DL. Was ist Evidenz-basierte Medizin und was nicht?. Münch med Wschr 1997; 139: 644-645
15 Katz DL. Clinical epidemiology and evidence-based medicine: Fundamental principles of clinical reasoning and research. Thousand Oaks: Sage; 2001
16 Schünemann HJ, Guyatt GH. Clinical Epidemiology and Evidence-Based Health Care. In: Ahrens W, Pigeot I, Hrsg. Handbook of epidemiology. 2. Aufl. New York: Springer Science; 2014: 1813-1873
17 Bastian H, Bender R, Ernst AS. et al. Methoden: Version 2.0 vom 19.12.2006. Köln: Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen; 2006
18 Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG). Allgemeine Methoden: Version 7.0. 7. Aufl. Köln: Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG); 2023
19 Higgins JP, Green S. Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0; 2011
20 Higgins JP, Green S. Hrsg. Cochrane handbook for systematic reviews of interventions. West Sussex: John Wiley & Sons Ltd; 2008
21 Mayntz R, Rosewitz B, Schimank U. et al. Hrsg. Differenzierung und Verselbständigung : zur Entwicklung gesellschaftlicher Teilsysteme. Frankfurt am Main: Campus; 1988
22 Sackett DL, Haynes RB, Guyatt GH. et al. Clinical epidemiology: A basic science for clinical medicine. Boston. Lippincott: 1991
23 Merton RK. The unanticipated consequences of purposive social action. American Sociological Review 1936; 1: 894-904
24 Clay-Williams R. Complex systems and unintended consequences. In: Rapport F, Clay-Williams R, Braithwaite J, eds. Implementation science: The key concepts. Abingdon, Oxon, New York, NY: Routledge; 2022: 193-195
25 Mannion R, Braithwaite J. Unintended consequences of performance measurement in healthcare: 20 salutary lessons from the English National Health Service. Internal Medicine Journal 2012; 569-574
26 Magerøy MR, Wiig S. The effect of full-time culture on quality and safety of care – a literature review. IJHG 2023; 28: 68-81
27 Raspe H, Pfaff H, Härter M. et al. Versorgungsforschung in Deutschland: Stand, Perspektiven, Förderung: Stellungnahme ; Standpunkte. Weinheim: Wiley-VCH; 2010
28 Nelke A. Der Innovationsmanagementprozess im Unternehmen. In: Nelke A, Hrsg. Kommunikation und Nachhaltigkeit im Innovationsmanagement von Unternehmen: Grundlagen für die Praxis. Wiesbaden: Springer Fachmedien Wiesbaden; 2016: 5-42
29 Vahs D, Brem A. Innovationsmanagement: von der Idee zur erfolgreichen Vermarktung. Schäffer-Poeschel. 2015
30 Schoffer O, Wimberger P, Gerken M. et al. Treatment in Certified Breast Cancer Centers Improves Chances of Survival of Patients with Breast Cancer: Evidence Based on Health Care Data from the WiZen Study. Geburtsh Frauenheilk 2024; 84: 153-163
31 Schmitt J, Klinkhammer-Schalke M, Bierbaum V. et al Initial Cancer Treatment in Certified Versus Non-Certified Hospitals—Results of the WiZen Comparative Cohort Study. Dtsch Arztebl Int 2023; arztebl.m2023.0169
32 Roessler M, Schmitt J, Bobeth C. et al. Is treatment in certified cancer centers related to better survival in patients with pancreatic cancer? Evidence from a large German cohort study. BMC Cancer 2022; 22: 621
33 Völkel V, Gerken M, Kleihues-van Tol K. et al. Treatment of Colorectal Cancer in Certified Centers: Results of a Large German Registry Study Focusing on Long-Term Survival. Cancers (Basel) 2023; 15
34 Bierbaum V, Schmitt J, Klinkhammer-Schalke M. et al. Potenzialabschätzung für die Konzentration der Versorgung von Krebspatient:innen in Kliniken mit DKG-Zertifizierung mittels Überlebenszeitanalyse. Gesundheitswesen 2023; 85: S197-S204
35 Bierbaum V, Bobeth C, Roessler M. et al. Treatment in certified cancer centers is related to better survival in patients with colon and rectal cancer: evidence from a large German cohort study. World J Surg Oncol 2024; 22: 11
36 Eifler S, Leitgöb H. Experiment. In: Baur N, Blasius J, Hrsg. Handbuch Methoden der empirischen Sozialforschung. 3. Aufl. Wiesbaden: Springer VS; 2022: 225-241
37 Kubbe I. Experimentelle Forschung – neue Entwicklungen. In: Jäckle S, Hrsg. Neue Trends in den Sozialwissenschaften. Wiesbaden: Springer Fachmedien Wiesbaden; 2017: 85-114
38 Ahmad A, Chowdhury D. Resistance to change during uncertainty-perspective of covid-19: An empirical investigation into resistance management in the healthcare organizations. REASER 2021; 22: 5-20
39 Shahbaz M, Gao C, Zhai L. et al. Investigating the adoption of big data analytics in healthcare: the moderating role of resistance to change. Journal of Big Data 2019; 6: 6
40 Tretter F, Marcum J. 'Medical Corona Science': Philosophical and systemic issues: Re-thinking medicine? On the epistemology of Corona medicine. J Eval Clin Pract 2022;
41 Macdonald H, Loder E, Abbasi K. Living systematic reviews at THE BMJ. BMJ 2020; 370: m2925
42 McPherson SJ, Speed E. NICE rapid guidelines: exploring political influence on guidelines. BMJ Evidence-Based Medicine 2021; bmjebm-2020-111635
43 Greenhalgh T. Will COVID-19 be evidence-based medicine's nemesis?. PLoS Med 2020; 17: e1003266
44 Levesque J-F, Sutherland K, Watson DE. et al. Learning Systems in Times of Crisis: the Covid-19 Critical Intelligence Unit in New South Wales, Australia. Catalyst non-issue content 2020; 1
45 Pfaff H, Schmitt J. The organic turn: coping with pandemic and non-pandemic challenges by integrating evidence-, theory-, experience-, and context-based knowledge in advising health policy. Front Public Health 2021; 9: 1607
46 Greenhalgh T, Engebretsen E. The science-policy relationship in times of crisis: An urgent call for a pragmatist turn. Soc Sci Med 2022; 306: 115140
47 Pfaff H, Schmitt J. Reducing uncertainty in evidence-based health policy by integrating empirical and theoretical evidence: An EbM+theory approach. J Eval Clin Pract 2023; n/a
48 Hogg HDJ, Al-Zubaidy M, Keane PA. et al. Evaluating the translation of implementation science to clinical artificial intelligence: a bibliometric study of qualitative research. Front Health Serv 2023; 3: 1161822
49 Hughes G, Moore L, Maniatopoulos G. et al. Theorising the shift to video consulting in the UK during the COVID-19 pandemic: Analysis of a mixed methods study using practice theory. Part Special Issue: Place, migration & health 2022; 311: 115368
50 Subbiah V. The next generation of evidence-based medicine. Nat Med 2023; 29: 49-58
51 Lee DT, LaCombe J, Chung CK. et al. Lag-Time to Publication in Plastic Surgery: Potential Impact on the Timely Practice of Evidence-Based Medicine. Ann Plast Surg 2013; 71
52 Lorenz E, Köpke S, Pfaff H. et al. Clusterrandomisierte Studien. Teil 25 der Serie zur Bewertung wissenschaftlicher Publikationen (Cluster-randomized studies – part 25 of a series on evaluating scientific publications). Dtsch Ärtzebl 2018; 115: 163-168
53 Hemming K, Lilford R, Girling AJ. Stepped-wedge cluster randomised controlled trials: a generic framework including parallel and multiple-level designs. Stat Med 2015; 34: 181-196
54 Lehmann BA, Lindert L, Ohlmeier S. et al. "And Then He Got into the Wrong Group": A Qualitative Study Exploring the Effects of Randomization in Recruitment to a Randomized Controlled Trial. IJERPH 2020; 17: 1-16
55 Busse R, Karagiannidis C, Augurzky B. et al. Der Vorschlag der Regierungskommission für eine grundlegende Reform der Krankenhausvergütung. In: Klauber J, Wasem J, Beivers A, Mostert C, Hrsg. Krankenhaus-Report 2023. Berlin, Heidelberg: Springer Berlin Heidelberg; 2023: 267-280
56 Sterne JAC, Savović J, Page MJ. et al. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ 2019; 366: l4898
57 Popper KR. Conjectures and refutations: The growth of scientific knowledge. 2. Aufl. London: Routledge; 2014
58 Rost J. Zeitgeist und Moden empirischer Analysemethoden. In: ZUMA, Hrsg. Forum Qualitative Sozialforschung/Forum: Qualitative Social Research. 2003: 2-3
59 Döring N, Bortz J. Forschungsmethoden und Evaluation. Wiesbaden: Springerverlag; 2016
60 Fiedler K, Kutzner F, Krueger JI. The Long Way From α-Error Control to Validity Proper: Problems With a Short-Sighted False-Positive Debate. Perspect Psychol Sci 2012; 7: 661-669
61 Mormina M. Knowledge, Expertise and Science Advice During COVID-19: In Search of Epistemic Justice for the ‘Wicked’ Problems of Post-Normal Times. Social Epistemology 2022; 36: 671-685
62 Sackett DL, Rosenberg WM, Gray JA. et al. Evidence based medicine: What it is and what it isn't. BMJ 1996; 312: 71-72
63 Stang A. Evaluability of the effect of oncology center certification. Dtsch Arztebl Int 2023;
64 Schmitt J, Schoffer O, Klinkhammer-Schalke M. Correspondence. Dtsch Arztebl Int 2024;
65 Roethlisberger FJ, Dickson WJ. Management and the worker. An account of a research program conducted by the Western Electric Company, Hawthorne Works, Chicago. Cambridge, Massachusetts: Harvard University Press; 1949
66 Mangione-Smith R, Elliott MN, McDonald L. et al. An observational study of antibiotic prescribing behavior and the Hawthorne effect. Health Serv Res 2002; 37: 1603-1623
67 Russo F, Williamson J. Interpreting Causality in the Health Sciences. International Studies in the Philosophy of Science 2007; 21: 157-170
68 Russo F, Williamson J. Epistemic Causality and Evidence-Based Medicine. History and Philosophy of the Life Sciences 2011; 33: 563-581
69 Greenhalgh T, Fisman D, Cane DJ. et al. Adapt or die: how the pandemic made the shift from EBM to EBM+ more urgent. BMJ Evidence-Based Medicine 2022; 27: 253
70 Tretter F, Wolkenhauer O, Meyer-Hermann M. et al. The Quest for System-Theoretical Medicine in the COVID-19 Era. Front Med (Lausanne) 2021; 8: 640974
71 Watzlawick P, Beavin JH, Jackson DD. Menschliche Kommunikation: Formen, Störungen, Paradoxien. Bern: Huber;; 2007
72 Pfaff H, Zeike S. Hrsg. Controlling im Betrieblichen Gesundheitsmanagement: Das 7-Schritte-Modell. Wiesbaden, Heidelberg: Springer Gabler;; 2019
73 Das deutsche Netzwerk Versorgungsforschung (DNVF). DNVF-Ad-hoc-Kommission publiziert Teil I des Manuals für Methoden und Nutzung versorgungsnaher Daten. MVF 2020; 13: II
74 Hoffmann F, Kaiser T, Apfelbacher C. et al. Versorgungsnahe Daten zur Evaluation von Interventionseffekten: Teil 2 des Manuals. Gesundheitswesen 2021; 83: e40
75 Tretter F, Peters EMJ, Sturmberg J. et al. Perspectives of (/memorandum for) systems thinking on COVID-19 pandemic and pathology. J Eval Clin Pract 2022;
76 Sturmberg JP, Martin CM, Katerndahl DA. Systems and Complexity Thinking in the General Practice Literature: An Integrative, Historical Narrative Review. The Annals of Family Medicine 2014; 12: 66
77 Paul E, Brown GW, Ridde V. COVID-19: time for paradigm shift in the nexus between local, national and global health. BMJ Global Health 2020; 5: e002622
78 Tretter F, Löffler-Stastka H. Medical knowledge integration and “systems medicine”: Needs, ambitions, limitations and options. Med Hypotheses 2019; 133: 109386
79 Caniglia G, Luederitz C, von Wirth T. et al. A pluralistic and integrated approach to action-oriented knowledge for sustainability. Nat Sustain 2021; 4: 93-100
80 Banta D. What is technology assessment?. Int J Technol Assess Health Care 2009; 25: 7-9
81 Draborg E, Gyrd-Hansen D, Poulsen PB. et al. International comparison of the definition and the practical application of health technology assessment. International Journal of Technology Assessment in Health Care 2005; 21: 89-95
82 O'Rourke B, Oortwijn W, Schuller T. The new definition of health technology assessment: A milestone in international collaboration. Int J Technol Assess Health Care 2020; 36: 187-190
83 Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG). Behandlungsgespräche: Führt eine gemeinsame Entscheidungsfindung von Arzt und Patient bei der Therapiewahl zu besseren Ergebnissen?: Vorläufiger HTA-Bericht HT22-01. Köln; 2023