Studiendesigns zur Wirkungsevaluation in Prävention und Gesundheitsförderung – Die Bedeutung interner und externer Validität für die Evidenzbasierung in Lebenswelten

Zusammenfassung

Hintergrund Die Gesundheitsförderung und Prävention in Deutschland haben aufgrund des Präventionsgesetzes an Bedeutung gewonnen. Durch das Gesetz erfahren die sogenannten Lebenswelten (settings) eine besondere Beachtung. Bislang gibt es allerdings weder ein einheitliches Verständnis über diesen Ansatz, noch sind dessen Potenziale empirisch hergeleitet. Es bedarf daher einer Auseinandersetzung mit geeigneten Evaluations- und Studienkonzepten.

Ziele und Methoden Ziele dieser Arbeit sind, die Bedeutung der internen und externen Validität von Interventionsstudien in Gesundheitsförderung und Prävention zu untersuchen. Wir geben einen Überblick zu verschiedenen Studiendesigns im Hinblick auf die erreichbare Verzerrungskontrolle und stellen Anwendungsbeispiele für die Evaluation von Setting-Projekten vor.

Ergebnisse Lebenswelt bezogene Interventionen sind oft durch eine Vielzahl von Maßnahmen, Akteuren und Interventionskontexten gekennzeichnet. Der Evidenz basierten Medizin entliehene Analysemethoden werden in Deutschland für die Gesundheitsförderung kritisch gesehen. Solche Studien würden zwar eine hohe interne Validität aufweisen, die Übertragbarkeit der Ergebnisse auf „die Wirklichkeit“ sei aber gering. Dagegen ist die Übertragbarkeit von Studienergebnissen für Setting-Projekte keine größere Herausforderung als für andere Forschungsfelder. Sie ist nicht durch unterschiedliche Kontexte, sondern durch unterschiedliche Wirkungsbeziehungen begrenzt. Durch einen Wirkungsnachweis soll ein beobachteter Effekt kausal auf eine Intervention zurückgeführt werden. Die erkenntnistheoretischen Anforderungen unterscheiden sich hierbei nicht zwischen Studien, die auf interne oder externe Validität angelegt sind. Die internationale Diskussion fokussiert auf die Weiterentwicklung (quasi)-experimenteller Studiendesigns. Anwendungsbeispiele für Setting-Projekte vorwiegend aus Deutschland verdeutlichen, dass diese Verfahren vereinzelt bereits in der Evaluationspraxis angewendet werden.

Schlussfolgerung Eine Herausforderung für die Gesundheitsförderung und Prävention in Lebenswelten besteht darin, die heterogene Evidenzbasis systematisch zu erfassen. Derzeit liegt eine Vielzahl von Erkenntnissen in einer Vielzahl von Interventionsfeldern vor. Diese Erkenntnisse müssen zusammengestellt und dahingehend analysiert werden, ob und im welchem Umfang weitere Evaluationen mit welchen Methoden zu initiieren sind.

Abstract

Background Health promotion and disease prevention in Germany have become more important as a result of the Prevention Act that gives special attention to the setting. So far, however, there is neither a common understanding of the terms of this approach, nor are its potentials empirically derived. Therefore, a discussion about suitable evaluation and study concepts is required.

Aims and methods The aims of this study were to address the meaning of internal and external validity of intervention studies in health promotion and disease prevention. We provide an overview of the achievable bias control for different study designs and provide examples for the evaluation of setting-based approaches.

Results Interventions in settings are often characterized by a multitude of measures, actors and intervention contexts. Methods of analysis from evidence-based medicine are viewed critically for health promotion and disease prevention in Germany. Such studies are considered to provide a high degree of internal validity, but the extrapolation of the results to “reality” is viewed as low. In contrast, the extrapolation of study results is not more of a challenge for setting projects than for any other research area. It is not limited by different contexts, but rather by different causal relationships. Impact assessment aims at causally attributing an observed outcome to the intervention. Thus, the epistemological requirements do not differ between studies that are designed for internal or external validity. The international discussion focuses on the refinement of (quasi)-experimental study designs. Examples for the evaluation of setting projects, mainly from Germany, illustrate that those alternative methods have already been used in evaluation practice.

Conclusion A challenge for health promotion and disease prevention in settings is to systematically assess the different needs for evidence-basing. At present, there is a wealth of findings in a large number of intervention fields. These findings must be compiled and analyzed to determine whether and to what extent further evaluations need to be initiated and by which methods.

Schlüsselwörter

Gesundheitsförderung - Prävention - Lebenswelten - Validität - Evaluation - Evidenz

Key words

Health promotion - prevention - settings - validity - evaluation - evidence

Publication History

Article published online:
11 April 2019

• Literatur

• 1 Meierjürgen R, Becker S, Warnke A. Die Entwicklung der Präventionsgesetzgebung in Deutschland. Prävent Gesundheitsförderung 2016; 11: 206-213
• 2 GKV Spitzenverband. Präventionsbericht 2017. Leistungen der gesetzlichen Krankenversicherung: Primärprävention und Gesundheitsförderung Berichtsjahr. 2016. https://www.gkv-spitzenverband.de/media/dokumente/krankenversicherung_1/praevention__selbsthilfe__beratung/praevention/praeventionsbericht/2017_GKV_MDS_Praeventionsbericht.pdf Letzter Zugriff 20.11.2018
• 3 Bödeker W, Moebus S. Normen- und Anreizkonflikte für die gesetzlichen Krankenkassen in Gesundheitsförderung und Prävention. Gesundheitswesen 2015; 77: 397-404
• 4 Engelmann F, Halkow A. Der Setting-Ansatz in der Gesundheitsförderung: Genealogie, Konzeption, Praxis, Evidenzbasierung. WZB Discussion Paper 2008
• 5 Dadaczynski K, Baumgarten K, Hartmann T. Settingbasierte Gesundheitsförderung und Prävention: Kritische Würdigung und Herausforderungen an die Weiterentwicklung eines prominenten Ansatzes. Prävent Gesundheitsförderung 2016; 11: 214-221
• 6 GKV-Spitzenverband. Leitfaden Prävention.o.J. https://www.gkv-spitzenverband.de/krankenversicherung/praevention_selbsthilfe_beratung/praevention_und_bgf/leitfaden_praevention/leitfaden_praevention.jsp Letzter Zugriff 20.11.2018
• 7 Bödeker W. Wirkungen und Wirkungsnachweis bei komplexen Interventionen. In: RKI, Hrsg. Evaluation komplexer Interventionsprogramme in der Prävention: Lernende Systeme, lehrreiche Systeme?. Berlin: 2012: 33-42 http://www.gbe-bund.de/pdf/evaluation_praevention.pdf Letzter Zugriff 20.11.18
• 8 Bödeker W. Evidenzbasierung in Gesundheitsförderung und Prävention – Der Wunsch nach Legitimation und das Problem der Nachweisstrenge. Prävent Extra 2007 3/2007. https://docplayer.org/60660468-Evidenzbasierung-in-gesundheitsfoerderung-und-praevention-der-wunsch-nach-legitimation-und-das-problem-der-nachweisstrenge.html Letzter Zugriff 20.11.2018
• 9 Elkeles T, Broesskamp-Stone U. Evidenzbasierte Gesundheitsförderung. BZgA Leitbegriffe Gesundheitsförderung 2015. https://www.leitbegriffe.bzga.de/alphabetisches-verzeichnis/evidenzbasierte-gesundheitsfoerderung/letzter Zugriff 20.11.2018
• 10 Flay BR. Efficacy and effectiveness trials (and other phases of research) in the development of health promotion programs. Prev Med 1986; 15: 451-474
• 11 Gerhardus A, Rehfuess E, Zeeb H. Evidenzbasierte Verhältnisprävention und Gesundheitsförderung: Welche Studiendesigns brauchen wir?. Z Für Evidenz Fortbild Qual Im Gesundheitswesen 2015; 109: 40-45
• 12 Green LW, Glasgow RE. Evaluating the Relevance, Generalization, and Applicability of Research: Issues in External Validation and Translation Methodology. Eval Health Prof 2006; 29: 126-153
• 13 Geldsetzer P, Fawzi W. Quasi-experimental study designs series—paper 2: complementary approaches to advancing global health knowledge. J Clin Epidemiol 2017; 89: 12-16
• 14 Windeler J. Externe Validität. Z Für Evidenz Fortbild Qual Im Gesundheitswesen 2008; 102: 253-259
• 15 Windeler J. There is no reverse hierarchy. (letter commenting: J Clin Epidemiol 2015; 68(11): 1251–1260) J Clin Epidemiol 2016; 75: 127-128
• 16 De Bock F, Fischer JE, Hoffmann K. et al. A participatory parent-focused intervention promoting physical activity in preschools: design of a cluster-randomized trial. BMC Public Health 2010; 10: 49
• 17 De Bock F, Breitenstein L, Fischer JE. Positive impact of a pre-school-based nutritional intervention on children’s fruit and vegetable intake: results of a cluster-randomized trial. Public Health Nutr 2012; 15: 466-475
• 18 Shadish W, Cook T, Campbell D. Experimental and Quasi-Experimental Designs. Belmont: Wadsworth CENGAGE Learning; 2002
• 19 Burchett HED, Blanchard L, Kneale D. et al. Assessing the applicability of public health intervention evaluations from one setting to another: a methodological study of the usability and usefulness of assessment tools and frameworks. Health Res Policy Syst 2018; 16.
• 20 Schloemer T, Schröder-Bäck P. Criteria for evaluating transferability of health interventions: a systematic review and thematic synthesis. Implement Sci 2018; 13. doi:10.1186/s13012-018-0751-8
• 21 Pfadenhauer LM, Gerhardus A, Mozygemba K. et al. Making sense of complexity in context and implementation: the Context and Implementation of Complex Interventions (CICI) framework. Implement Sci 2017; 12.
• 22 Flay BR, Biglan A, Boruch RF. et al. Standards of Evidence: Criteria for Efficacy, Effectiveness and Dissemination. Prev Sci 2005; 6: 151-175
• 23 Greenwald P, Cullen J. The new emphasis in cancer control. J Natl Cancer Inst 1985; 74: 543-551
• 24 Glasgow RE, Lichtenstein E, Marcus AC. Why don’t we see more translation of health promotion research to practice? Rethinking the efficacy-to-effectiveness transition. Am J Public Health 2003; 93: 1261-1267
• 25 The CONSORT Statement. 2010. http://www.consort-statement.org/ Letzter Zugriff 20.11.2018
• 26 Brown CH, Curran G, Palinkas LA. et al. An Overview of Research and Evaluation Designs for Dissemination and Implementation. Annu Rev Public Health 2017; 38: 1-22
• 27 Bärnighausen T, Røttingen J-A, Rockers P. et al. Quasi-experimental study designs series—paper 1: introduction: two historical lineages. J Clin Epidemiol 2017; 89: 4-11
• 28 Bothwell LE, Greene JA, Podolsky SH. et al. Assessing the gold standard – lessons from the history of RCTs. N Engl J Med 2016; 374: 2175-2181
• 29 Basu S, Meghani A, Siddiqi A. Evaluating the health impact of large-scale public policy changes: Classical and novel approaches. Annu Rev Public Health 2017; 38: 351-370
• 30 Cameron DB, Mishra A, Brown AN. The growth of impact evaluation for international development: How much have we learned?. J Dev Eff 2016; 8: 1-21
• 31 Reeves BC, Wells GA, Waddington H. Quasi-experimental study designs series – paper 5: a checklist for classifying studies evaluating the effects on health interventions – a taxonomy without labels. J Clin Epidemiol 2017; 89: 30-42
• 32 Waddington H, Aloe AM, Becker BJ. et al. Quasi-experimental study designs series — paper 6: risk of bias assessment. J Clin Epidemiol 2017; 89: 43-52
• 33 Bärnighausen T, Tugwell P, Røttingen J-A. et al. Quasi-experimental study designs series — paper 4: uses and value. J Clin Epidemiol 2017; 89: 21-29
• 34 Craig P, Katikireddi SV, Leyland A. et al. Natural Experiments: An Overview of Methods, Approaches, and Contributions to Public Health Intervention Research. Annu Rev Public Health 2017; 38: 39-56
• 35 Dawson A, Sim J. The nature and ethics of natural experiments. Journal of Medical Ethics 2015; 10: 848-853
• 36 Bor J, Moscoe E, Mutevedzi P. et al. Regression Discontinuity Designs in Epidemiology: Causal Inference Without Randomized Trials. Epidemiology 2014; 25: 729-737
• 37 Martens EP, Pestman WR, de Boer A. et al. Instrumental Variables: Application and Limitations. Epidemiology 2006; 17: 260-267
• 38 Greenland S. An introduction to instrumental variables for epidemiologists. Int J Epidemiol 2000; 29: 722-729
• 39 Wing C, Simon K, Bello-Gomez R. Designing Difference in Difference Studies: Best Practices for Public Health Policy Research. Annu Rev Public Health 2018; 39: 453-469
• 40 Bernal LJ, Cummins S, Gasparrini A. Interrupted time series regression for the evaluation of public health interventions: a tutorial. Int J Epidemiol 2016; dyw098
• 41 Wildner M. Gesundheit im Kontext. Gesundheitswesen 2018; 80: 509-510
• 42 Starke D, Arnold L, Fertmann R. et al. Methodische Herausforderungen der Präventionsberichterstattung. Gesundheitswesen 2018; 80: 732-740
• 43 Vollmar HC, Santos S, de Jong A. et al. Wie gelangt Wissen in die Versorgung?: Implementierungsforschung und Wissenszirkulation. Bundesgesundheitsblatt – Gesundheitsforschung – Gesundheitsschutz 2017; 60: 1139-1146
• 44 Schaller A, Petrowski K, Pfoertner T-K. et al. Effectiveness of a theory-based multicomponent intervention (Movement Coaching) on the promotion of total and domain-specific physical activity: a randomised controlled trial in low back pain patients. BMC Musculoskelet Disord 2017; 18.
• 45 Bühler A, Thrul J, Strüber E. et al. Cluster-randomized trial of a German leisure-based alcohol peer education measure. Health Promot Int 2016; 31: 385-395
• 46 Behrman JA, Peterman A, Palermo T. Does Keeping Adolescent Girls in School Protect Against Sexual Violence? Quasi-Experimental Evidence From East and Southern Africa. J Adolesc Health 2017; 60: 184-190
• 47 Friedrichs M, Friedel H, Bödeker W. Teilnehmerstruktur und ökonomischer Nutzen präventiver Bonusprogramme in der betrieblichen Krankenversicherung. Gesundheitswesen 2009; 71: 623-627
• 48 Sargent JD, Demidenko E, Malenka DJ. et al. Smoking restrictions and hospitalization for acute coronary events in Germany. Clin Res Cardiol 2012; 101: 227-235
• 49 Sickinger S, Carlsohn A, Schleicher K. et al. Gesundheitsförderung bei Auszubildenden: Evaluation eines betrieblichen Gesundheitsförderungsprojekts mit den Themen Ernährung und Bewegung. Prävent Gesundheitsförderung 2017;