Validierung – „QSR-Verfahren muss validiert werden“

Prof. Hans-Konrad Selbmann (Jahrgang 1941) war bis zu seiner Emeritierung 2007 Leiter des Instituts für Medizinische Informationsverarbeitung der Universität Tübingen. Selbmann, aktuell als Schatzmeister und Stellungnahmebeauftragter im Präsidium der AWMF, ist einer der Protagonisten für statistische Verfahren zur Qualitätsbewertung in der Medizin, seine Gruppe publizierte bereits Anfang der 1990er Jahre Grundzüge eines Erhebungssystems zur Qualitätsbewertung – zunächst in der Perinatalmedizin und der Chirurgie.

Professor Hans-Konrad Selbmann moniert den zu schleppenden Prozess einer Validierung von Systemen zur Qualitätsmessung – auch und gerade beim System der AOK, der Qualitätssicherung mit Routinedaten (QSR).

? Eine neue Publikation in der Zeitschrift Gesundheitsökonomie & Qualitätsmanagement kritisiert die Methodik bei QSR. Ein Hauptstreitpunkt scheint die Frage, ob man die 95 %-Konfindenzintervalle für die Einteilung der Kliniken in 3 Qualitätsgruppen verwenden darf oder nicht. Was sagen Sie dazu?

Ich darf mal mit meinen Interessenskonflikten beginnen. Ich bin unter anderem Mitherausgeber der Zeitschrift Gesundheitsökonomie & Qualitätsmanagement, aus der die neue Arbeit stammt. Die Autoren sind mir bekannt. Ich habe aber am Reviewing des Manuskripts nicht mitgewirkt.

? Danke, wir befragen Sie als unabhängigen Experten – wie bewerten Sie nun den Konflikt?

Ich hatte von Anfang an Probleme mit den Qualitätsindikatoren von QSR. Faszinierend an den Routinedaten ist, dass diese Daten eh schon da sind. Andererseits ist die Validität der Qualitätsindikatoren aus Routinedaten trotz mehrfacher Aufforderung bis heute nicht belegt. Das gilt sowohl für die Daten selbst als auch für ihre Interpretation – vor allem die Ursachenzuweisung von postoperativen Ereignissen! Meines Wissens legen zudem die verschiedenen Kassenarten immer noch nicht ihre Daten zusammen. Das wäre aber wichtig, damit wir wegkommen von einer reinen AOK-Aus- und Bewertung.

? Was meinen Sie mit „Validität nicht belegt“?

Das statistische Problem der Qualitätsindikatoren bei QSR ist die unterschiedliche Fallzahl von Haus zu Haus. Bei kleinen Fallzahlen sind die Konfidenzintervalle – wenn man überhaupt annimmt, dass es sich um Stichproben handelt – so groß, dass man keine Unterschiede erkennen kann. Bei großen Fallzahlen sind sie wiederum so klein, dass auch kleine Unterschiede auffällig werden. Deshalb versucht QSR die Grenzen der Konfidenzintervalle ins Spiel zu bringen. Dies geschieht bei QSR eher pragmatisch als anhand einer statistischen Theorie. Das gilt auch für die Kombination von mehreren Qualitätsindikatoren zu einem Gesamtqualitätsindikator in den Lebensbäumen. Ich kenne keine Arbeit, die einmal die Sicherheit und die Richtigkeit der so entstanden Indikatoren untersucht hat. Die neue Arbeit von Harald Englisch und Burkhard Fischer zeigt nun, dass das pragmatische Verfahren des AOK-Navigators bestimmte Fallzahlklassen bevorzugt. Dies sollte bei einem Qualitätsindikator natürlich nicht sein.

? Das WIdO argumentiert allerdings damit, eine Darstellung der Qualität rein über die SMR-Werte würde zu viel größeren Fehlern führen – der Punktschätzer SMR könne schließlich ganz falsch liegen.

Was die Standard Mortalitäts- oder Morbiditäts-Ratio, alias SMR, anbelangt, finde ich zunächst mal eine andere Erkenntnis von Englisch und Fischer richtig – die unterschiedliche Zusammensetzung der Patientenkollektive der Kliniken kann auch zu unterschiedlichen Ausprägungen der Qualitätsindikatoren führen. Denn man braucht zur Standardisierung, quasi zur statistischen Gleichmachung der Zusammensetzung der Kollektive, Daten, die man in der Regel eben nicht in den Routinedaten findet. Das WIdO verweist zwar auf die Durchführung einer Regressionsanalyse – dabei bleibt aber die Frage offen, welche und wie die Daten zur Standardisierung dabei eingesetzt werden.

? Sie meinen die Risikoadjustierung bei QSR ist unklar?

Ja.

? Das WIdO erklärt, Dinge wie Übergewicht, Diabetes etc. würden genau adjustiert – das Verfahren ist auch nachzulesen [ 1 ] .

Ja aber ich bin sicher, dass in den Routinedaten etliche Angaben, die für die Vergleichbarkeit der Kollektive wichtig sind, nicht vorliegen. Die Alternative wäre ein Erfassungssystem – wie wir es schon 1992 diskutiert haben, mit der Perinatalstudie [ 2 ]. Man kommt nicht umhin, besondere Daten zu den Risiken erheben. Und, ja – ich höre schon die Gegenargumente – das schafft wiederum Erhebungsaufwand, den die Kassen ungern bezahlen möchten und deswegen beharren sie auf den Routinedaten. Natürlich können Sie den Vitalstatus eines Patienten mit Routinedaten nachverfolgen, lebt der Patient noch oder nicht? Aber den Kausalzusammenhang kriegt man damit nicht heraus. Wenn der Patient 1 Jahr nach einer OP nicht mehr lebt, kann man nicht einfach behaupten, dass sein Tod auf die schlechte Operation zurückzuführen ist. Er konnte ja auch einen Unfall gehabt haben.

? Aber in einem Erfassungssystem – wenn Sie da alle Risikofaktoren kriegen wollen, um über Kausalzusammenhänge nachzudenken – dann sind Sie am Ende wieder auf Studienniveau, oder?

Absolut. Und daher sehe ich da nur eine Lösung: Bei wem alle Daten zusammenkommen, ist der Patient. Man muss daher den Patienten mit einbeziehen und darf nicht hergehen und ungeprüft aus Routinedaten irgendwas ablesen. Der Patient kann Ihnen sagen, in welchen stationären Einrichtungen er war, wie er wo mit welchem Erfolg versorgt wurde.

? Sollte QSR Ihrer Ansicht nach mangels Validität besser runter vom Netz, keine Veröffentlichung im AOK-Krankenhausnavigator?

Nein, aber man sollte mehr auf mögliche Fallstricke hinweisen. Mit dem Baumschema habe ich meine Schwierigkeiten.

? Internetnutzer wollen aber eine klare Botschaft, zum Beispiel mit 1-3 Bäumen. Nehme ich dann als Patient ein Haus mit den 3 Bäumen, habe ich ein Gefühl von Sicherheit.

Das kann ich nachvollziehen, da wollen wir alle hin. Nur müssen diese Bäume auch stimmen. Sie könnten für viele Krankenhäusern durchaus stimmen, aber eben nicht für alle.

? Das heißt im Umkehrschluss, bei den meisten Häusern kann man davon ausgehen, dass das QSR-Ergebnis in Ordnung ist?

So würde ich das sagen. Patienten rate ich, über ihre Suche auch mit dem Arzt zu reden. Ich finde es eindrucksvoll, mit welcher Sicherheit Ärzte wissen, wer in welchem Krankenhaus gut arbeitet und wer vielleicht etwas weniger gut.

Es ist aber ganz wichtig, QSR endlich zu validieren – ich appelliere an Forscherinnen und Forscher dafür jetzt Anträge beim Innovationsfonds zu stellen.

? Was meinen Sie?

Der Innovationsfonds beim G-BA schüttet jedes Jahr 300 Millionen Euro aus. 225 Millionen für neue Versorgungsformen. und 75 Millionen für Versorgungsforschung. Und unter der Rubrik Versorgungsforschung lassen sich auch Anträge mit dem Thema Routinedaten stellen. 75 Millionen sind unglaublich viel Geld – liebe Wissenschaftler stellt Anträge. Den Link zur Ausschreibung finden Sie auch über die AWMF-Homepage unter AWMF aktuell zu finden [ 3 ].

? Was für Studien müssen das sein? Es gibt eine neue Studie, in der immerhin gezeigt wird, dass Routinedaten in der Endoprothetik auch die Daten aus der Gesetzlichen Qualitätssicherung gut ergänzen könnten [ 4 ] .

Das ist eine statistische Aussage, die nicht für den Einzelfall gilt. Validierung heißt unter anderem, jede Patientenakte zu prüfen, ob ein Haus, das bei QSR schlecht abschnitt, auch tatsächlich schlechtere Qualität geliefert hat.

? Das AQUA-Institut hat ein Verfahren zur Qualitätssicherung bei Knie- und Hüftgelenken präsentiert, nebst Verwendung von Routinedaten der Kassen [ 5 ] . Ist damit nicht ein Verfahren nach QSR offiziell gebilligt, um den Patienten auch für längere Zeit nachzuverfolgen und Daten zur Qualität der Versorgung auch noch bis zu 5 Jahre nach der Operation zu gewinnen? Trotzdem macht das bisher nur die AOK?

Aus meiner Sicht schwelt dahinter von Anfang ein nach wie vor existierender Streit: Routinedaten gegen Spezialerfassung. Die AOK war vor über 10 Jahren die erste Kassenart, die Qualitätsindikatoren aus Routinedaten forderte und dies zu ihrem Alleinstellungsmerkmal machte. Es kam in der Folge zu kassenpolitischen Streitgesprächen, was man auch daran sieht, dass die anderen Kassenarten nicht mitgezogen haben.

? Wieso eigentlich nicht?

Naja, mit diesen Daten wird auch ein Vergleich von Kassenarten möglich. Damit könnten sich die Kassen gegenseitig vorrechnen, wie gut sie sind?

? Es steht längst im Gesetz, dem SGBV, dass diese Sozialdaten der Kassen zusammen geführt werden sollen. Passiert ist das nicht.

Da kann die Politik lange reden, wenn die Selbstverwaltung es wegen Qualitätsbedenken nicht umsetzt. Aktuell beschäftigt uns aus diesem Themenkreis ein neuer Auftrag, den der G-BA soeben an das IQTiG, gegeben hat. Es soll aus den bereits vorhandenen Daten Indikatoren entwickeln, die für die Krankenhausplanung der Länder verwendet werden können. Das Institut arbeitet seit Mitte März daran. Auch wir von der AWMF sollen zu diesen Indikatoren Stellung nehmen. Ich bin Stellungnahmebeauftragter in der AWMF und erlebe gerade, wie sehr da aufs Tempo gedrückt wird. Das IQTiG hat bereits jetzt zu diesem Auftrag ein Stellungnahmeverfahren gestartet. Dabei ist das eigentliche Produkt noch gar nicht fertig. Die größte Sorge bereitet mir dabei die Beschränkung auf die vorhandenen Daten.

Das Interview führte Bernhard Epping

• Literatur

• 1 http://www.qualitaetssicherung-mit-routinedaten.de/methoden/
• 2 Pietsch-Breitfeld B, Selbmann HK. Qualitätssicherung am Beispiel der Perinatologie und Chirurgie. Z Orthop Unfall 1992; 130: 352-356
• 3 http://www.awmf.org/die-awmf/awmf-aktuell/detail/news/antraege-fuer-projekte-aus-innovationsfonds.html
• 4 Wessling M, Gravius S, Gebert C et al. Ergebnisqualität in der Revisionsendoprothetik: Eine Analyse von Routinedaten mit dem Vergleich zur externen Qualitätssicherung. Z Orthop Unfall 2016; 154: 63-71
• 5 https://www.aqua-institut.de/de/aktuelles/komplikation_follow-up_knie-huefte.html