Subscribe to RSS
DOI: 10.1055/a-2008-2429
Bei der Bewertung von Krankenhäusern muss fallzahlabhängige Unsicherheit berücksichtigt werden
Die Autor*innen des Artikels mit dem Titel „Assoziation von Strukturvariablen mit der Versorgungsqualität der Krankenhäuser in Deutschland“ [1] kommen zu dem Schluss, dass die Indikatoren der externen Qualitätssicherung „eventuell unzureichend risikoadjustiert bzw. wissenschaftlich evaluiert sind, sodass von deren Verwendung als Instrumente zur Qualitätssteuerung abzuraten ist.“ Allerdings lässt die eingesetzte Methodik eine derartige Schlussfolgerung nicht zu. Weder die Risikoadjustierung noch die wissenschaftliche Evidenz für die Indikatoren wurden im Detail untersucht (oder beschrieben). Dies wäre jedoch eine Voraussetzung, um etwa die Güte der Risikoadjustierung zu beurteilen.
Als Hauptindiz für die scheinbar mangelnde Güte der Indikatoren wird eine negative Korrelation zwischen von den Autor*innen konstruierten Qualitätsindizes und der Krankenhausgröße (Bettenanzahl) angeführt. Diese negative Korrelation sehen die Autor*innen als kontraintuitiv an, da für viele Ergebnisindikatoren eine positive Korrelation mit der Krankenhausgröße gezeigt wurde (Volume-Outcome-Beziehung). So wurden derartige Volume-Outcome-Beziehungen bereits mit Daten und nahezu den gleichen Indikatoren der externen Qualitätssicherung gezeigt (z. B. [2] [3]). Die von den Autor*innen über alle betrachteten Indikatoren hinweg beobachtete negative Korrelation deutet daher nicht auf ein prinzipielles Problem mit den Daten und den Indikatoren hin.
Vielmehr weist die gefundene negative Korrelation auf ein methodisches Problem mit der Indexkonstruktion hin: Zur Bildung der Qualitätsindizes stuften die Autor*innen die Krankenhäuser jeweils in zwei Kategorien ein: sehr gut vs. gut, gut vs. durchschnittlich, durchschnittlich vs. unterdurchschnittlich. Die Einstufung geschah anhand perzentilbasierter Schwellenwerte und anhand der beobachteten Indikatorergebnisse ohne Berücksichtigung von Unsicherheit. Das beobachtete Indikatorergebnis kann als Punktschätzer für zugrundeliegende Parameter interpretiert werden. Daher werden Indikatorergebnisse vom IQTIG stets mit Vertrauensbereichen berichtet, die die Unsicherheit der Punktschätzer quantifizieren. Da die Variabilität der Ergebnisse und damit die Unsicherheit bei kleinen Krankenhäusern größer ist als bei großen Krankenhäusern, werden die perzentilbasierten Schwellenwerte im Wesentlichen durch die kleinen Krankenhäuser bestimmt. Aufgrund der geringeren Variabilität ihrer Ergebnisse können größere Krankenhäuser im Vergleich zu kleinen Krankenhäusern diese Schwellenwerte (vor allem zur guten oder zur sehr guten Qualität) nur schwer erreichen. Hingegen haben kleine Krankenhäuser eine viel höhere Wahrscheinlichkeit als große Krankenhäuser für eine zufallsbedingte (sehr) gute Einstufung anhand der Punktschätzer. Unter den Krankenhäusern mit scheinbar sehr gutem beobachteten Ergebnis finden sich daher überproportional viele kleine Krankenhäuser. Genauer ist dieser Effekt und methodischer Artefakt in einem ähnlichen Kontext beispielsweise in [4] beschrieben worden. Auch das IQTIG hat mit Blick auf die Auffälligkeitseinstufung von Indikatorergebnissen auf diesen Effekt hingewiesen [5]. Die von den Autor*innen berichtete negative Korrelation zwischen Qualitätsindizes und Krankenhausgröße ist daher ein Artefakt der Methodik, nach der die Qualitätsindizes gebildet wurden, und nicht der Güte der Indikatoren zuzuschreiben.
Ein weiteres Problem der von den Autor*innen eingesetzten Methodik ergibt sich daraus, dass Ergebnisse kleiner Krankenhäuser einen eingeschränkten Wertebereich haben. Beispielsweise kann ein Krankenhaus mit nur 10 Fällen in einem Indikator (ohne Risikoadjustierung) nur die Werte 1,0; 0,9; 0,8 etc. mathematisch erreichen. In die Analyse der Autor*innen gingen auch QS-Verfahren ein, bei denen es gar keine oder nur wenige große Fallzahlen gibt. In solchen Fällen kann es vorkommen, dass überhaupt keine Krankenhäuser als „gut aber nicht sehr gut“ eingestuft werden und sich die Krankenhäuser auf die Kategorien sehr gut, durchschnittlich und unterdurchschnittlich verteilen. Dies ist in Tabelle 2 der Arbeit daran zu erkennen, dass in manchen QS-Verfahren die Indizes für verschiedene Bewertungsstufen übereinstimmen (z. B. sind in der Zeile zur nosokomialen Infektion Mittelwerte und Standardabweichungen für alle Qualitätsindizes [sehr gut, gut, durchschnittlich] identisch). Dies illustriert ebenfalls die Probleme bei der Einstufung von Krankenhausergebnissen bei Vorliegen vieler Krankenhäuser mit kleinen Fallzahlen ohne die Berücksichtigung von Unsicherheit.
Publication History
Article published online:
12 May 2023
© 2023. Thieme. All rights reserved.
Georg Thieme Verlag
Rüdigerstraße 14, 70469 Stuttgart,
Germany
-
Literatur
- 1 Bestehorn K, Eggebrecht H, Fleck E. et al. Volume-outcome relationship with transfemoral transcatheter aortic valve implantation (TAVI): insights from the compulsory German Quality Assurance Registry on Aortic Valve Replacement (AQUA). EuroIntervention 2017; 13: 914-920 DOI: 10.4244/EIJ-D-17-00062.
- 2 IQTIG. Datenauswertung zu Mindestmengen in der Versorgung von Frühgeborenen mit einem Aufnahmegewicht unter 1.250 g. Abschlussbericht. Berlin; 2020. Im Internet: https://iqtig.org/downloads/berichte/2020/IQTIG_Mindestmengen-bei-Fruehgeborenen_Abschlussbericht_2020-06-22_barrierefrei.pdf.(Stand: 17.11.2022)
- 3 O’Brien SM, DeLong ER, Peterson ED.. Impact of Case Volume on Hospital Performance Assessment. Arch Intern Med 2008; 168: 1277-1284 DOI: 10.1001/archinte.168.12.1277.
- 4 IQTIG. Weiterentwicklung des Strukturierten Dialogs mit Krankenhäusern. Abschlussbericht zu Stufe 1 und Stufe 2. Berlin; 2020. Im Internet: https://iqtig.org/downloads/berichte/2020/IQTIG_Weiterentwicklung-Strukturierter-Dialog-Stufe-1-u-2_Abschlussbericht_2020-02-11.pdf.(Stand: 17.11.2022)
- 5 IQTIG. Weiterentwicklung des Strukturierten Dialogs mit Krankenhäusern. Abschlussbericht zu Stufe 1 und Stufe 2. Berlin; 2020. Im Internet: https://iqtig.org/downloads/ berichte/2020/IQTIG_Weiterentwicklung- Strukturierter-Dialog-Stufe-1-u-2_Abschlussbericht_ 2020-02-11.pdf. (Stand: 17.11.2022)