PDF herunterladen
Nervenheilkunde 2024; 43(03): 90-91
DOI: 10.1055/a-2201-4311
Editorial

Computer machen Fehler, KI auch – was wir aus einem britischen Alptraum lernen können

Manfred Spitzer
› Weitere Informationen
 
 als PDF herunterladen Lizenzen und Reprints

Anfang Januar 2024 strahlte der britische Fernsehsender „Independent Television“ (ITV) die 4-teilige Serie „Mr Bates versus The Post Office“ aus. Dies führte im Verlauf des Monats dazu, dass ein seit mehr als einem Jahrzehnt schwelender, die britische Post betreffender Justizskandal breiteste Aufmerksamkeit bekam und mittlerweile als der größte Justizirrtum in der Geschichte des Vereinigten Königreichs bezeichnet wird. Wie „Der Spiegel“ am 24.01.2024 berichtete, sprach der britische Postminister Kevin Hollinrake von einer Milliarde Pfund „oder mehr“ Kosten für Entschädigungszahlungen an die Opfer, die letztlich der Steuerzahler aufbringen müsse [1]. Bislang (Stand: Ende Januar 2024) hat hierfür niemand die Verantwortung übernommen. Worum geht es? Und was lernen wir daraus?

Ein kollektiver Alptraum

Zwischen den Jahren 1999 und 2015 wurden von der britischen Post etwa 3500 Inhaber von kleinen, privat geführten Postfilialen (unabhängig geführte Geschäfte, die Briefe und Pakete für 10 000e von Menschen abholten und zustellten) des Diebstahls, Betrugs, der Veruntreuung und fehlerhafter Buchführung bezichtigt. Mehr als 900 von ihnen wurden strafrechtlich verfolgt sowie mit Strafen belegt, die von gemeinnütziger Arbeit über das Tragen elektronischer Fußfesseln bis hin zu Gefängnisstrafen reichten. Viele von ihnen gerieten durch die Verurteilung in finanzielle Schwierigkeiten oder sogar in die Privatinsolvenz. Denn wer nicht vor Gericht ging, um sich zu wehren, musste die Defizite seiner Filiale aus eigener Tasche begleichen. Die Geschäftsinhaber und ihre Familien litten unter großem Stress, was in vielen Fällen dazu führte, dass sie krank wurden. In mindestens 4 Fällen kam es zum Suizid aus Verzweiflung [2].

Die Anschuldigungen gründeten sich auf Informationen aus dem in den späten 1990er-Jahren eingeführten IT-System mit Namen Horizon, über das die Geschäfte der Postfilialen abgewickelt wurden. Die Buchhaltungssoftware war von der japanischen Firma Fujitsu eigens entwickelt und dann von der britischen Post für etwa eine Milliarde Pfund gekauft worden. Damals handelte es sich um das größte zivile IT-Projekt, das in Europa eingeführt wurde. Spätestens seit 2010 war jedoch den Verantwortlichen der britischen Post bekannt, dass das Buchungssystem fehlerhaft war. Dennoch wurden die Postmitarbeiter noch für ein knappes Jahrzehnt weiter beschuldigt und verfolgt – zu Unrecht, wie durch ein erstes Gerichtsurteil im Jahr 2019 festgestellt wurde. Mittlerweile (Stand: Dezember 2023) wurden 142 der 900 Urteile angefochten, 93 wurden widerrufen und 24 Millionen Pfund Entschädigung bezahlt. Mittlerweile wurde weiterhin bekannt, dass die britische Post mit den Zahlungen im Verzug ist. Dutzende von Opfern sind bereits gestorben, bevor sie eine Entschädigung erhalten konnten. Zudem wurden fälschlicherweise Steuern auf die Entschädigungen von den Betroffenen gefordert [3]. Die Anhörungen zu dem Skandal sind noch nicht abgeschlossen, aber immer neue Enthüllungen machen fassungslos: Dokumente belegen, dass die Ermittler der Post die Mitarbeiter der Postfilialen nach ihrer ethnischen Zugehörigkeit einstuften und dabei rassistische Bezeichnungen für dunkelhäutige Arbeitnehmer verwendeten. Die unabhängig von der Polizei arbeitenden Ermittler erhielten zu allem Überfluss noch Boni in Höhe von 1,6 Millionen Pfund ausgezahlt, wobei ihr Erfolg bei der Fahndung nach den vermeintlichen kriminellen Filialleitern eines von 4 Kriterien für die Zahlungen waren.

Der Premierminister Rishi Sunak teilte am 21.01.2024 mit, dass Justizminister Alex Chalk erwäge, der Post ihre Befugnisse zur privaten Strafverfolgung zu entziehen. Bereits im September 2023 versprach die Regierung, dass jedem Filialleiter, dessen unrechtmäßige Verurteilung aufgehoben wurde, eine Entschädigung in Höhe von 600 000 £ gezahlt würde. Wie die Zeitung „The Guardian“ am 07.01.2024 schreibt, wurden bislang insgesamt mehr als 130 Millionen Pfund ausgezahlt. Dort wird aber auch angemerkt, dass noch niemand für den Skandal zur Verantwortung gezogen wurde. Am 19.01.2024 bestätigte die Londoner Polizei erstmals, dass gegen die Post sowie 2 ehemalige Fujitsu-Mitarbeiter wegen möglicher Betrugsdelikte, Meineid und Beeinflussung der Justiz ermittelt werde. Die Aufarbeitung des Skandals läuft also im Grunde gerade erst so richtig an. Vieles ist noch unklar; ungeheuerlich erscheint jedoch die Tatsache, dass Mitte Januar 2024 herauskam, dass Fujitsu von den Fehlern im Horizon-System bereits bei dessen Auslieferung an die Post im Jahr 1999 wusste [3].

Zwischenzeitlich hat die defizitäre britische Post die Regierung um weitere 252 Millionen Pfund gebeten, u. a. um die Kosten für die Aktualisierung des nach wie vor verwendeten Horizon-Systems zu decken. Laut dem Guardian vom 09.01.2024 hat die britische Regierung seit 2012 für insgesamt 68 Projekte an Fujitsu 2,7 Milliarden Pfund bezahlt [4].


#

Was lernen wir daraus?

Das Ganze erinnert zunächst an einen Staat im Staat, ohne weitere Kontrolle – und das im Lande mit der ältesten Menschenrechts-Charta und darauf aufgebauter Demokratie! Die ehemalige Postchefin Paula Vennells, die während eines Großteils der Zeit, in der die Postmeister zu Unrecht verfolgt wurden, im Amt war und Sir Ed Davey, der zwischen 2010 und 2012, als die Software-Probleme ans Licht kamen, Minister für Postangelegenheiten war, haben sich jedenfalls unzureichend bzw. gar nicht gekümmert. So etwas gibt es – und dieser traurige Existenzbeweis ist vielleicht die bedeutendste Lehre, die man ziehen kann.

Ich selbst bin auf den britischen Justizskandal durch ein Editorial im Fachblatt „Nature“ aufmerksam geworden. Dort wird vor allem ein Aspekt des Skandals hervorgehoben, der vergleichsweise wenig Aufmerksamkeit erfuhr: „die Tatsache, dass die Gesetze von England und Wales davon ausgehen, dass Computersysteme keine Fehler machen“ [5]. Dies hatte und hat noch immer zur Folge, dass die Anfechtung von Daten, die von Computern generiert werden, nur schwer möglich ist. „Die Hauptquelle potenzieller Ungerechtigkeit bei einem Gesetz, das davon ausgeht, dass Computeroperationen grundsätzlich korrekt sind, besteht darin, dass jemand, der Computerbeweise infrage stellen oder anfechten will, die Beweislast für eine unsachgemäße Verwendung oder Bedienung erbringen muss“, kann man dazu im Fachblatt „Nature“ nachlesen [5]. Dass jedoch eine Software Fehler macht, ist schwer nachzuweisen, zumal dann, wenn man den Quell-Code nicht einsehen kann, was bei kommerziell vertriebener Software nahezu immer der Fall ist. „In den meisten Horizon-Fällen konnten die Angeklagten nicht wissen, welche Dokumente oder Aufzeichnungen das Auftreten eines relevanten Fehlers belegen würden, und konnten nicht verlangen, dass diese von der Post offengelegt werden“, wird weiter erläutert [5].

Erst als eine Gruppe von Betroffenen die Hilfe von IT-Spezialisten in Anspruch nahm und deswegen im Jahr 2019 erstmal Recht bekam, sickerte das Ausmaß des Justizirrtums in den Jahren danach langsam in die Öffentlichkeit. Dennoch brauchte es eine TV-Sendung, um schließlich von der Politik erneut aufgegriffen und wirklich ernst genommen zu werden. „Einsame Rufer in der Wüste“ reichen also offenbar nicht! Mit solchen einzelnen Betroffenen wurde die britische Post auf andere Weise fertig: Mit den wenigen, die mithilfe von IT-Spezialisten ihr Recht erstritten, wurden außergerichtliche Einigungen getroffen, wobei die Betroffenen Vertraulichkeitsvereinbarungen unterzeichnen mussten. Das bedeutete natürlich auch, dass die Fehler des Computersystems Horizon nicht öffentlich wurden.

Wie konnten Juristen eigentlich auf die Idee kommen, dass Computer keine Fehler machen? Auch mit dieser Frage beschäftigt sich das Nature-Editorial [5]. Letztlich sei die Rechtslage in Großbritannien in den 1980er-Jahren, also mit dem Aufkommen des Personal Computers, zunächst so gewesen, dass Computer durchaus Fehler machen konnten. Erst eine Gesetzesänderung im Jahr 1999 implementierte die Auffassung, dass Computer in der Regel keine Fehler machen – mit fatalen Folgen, wie der Justizskandal zeigt.

Daher ist auch völlig klar, wie die Lösung aussieht: Man kann nicht davon ausgehen, dass Computer – und mittlerweile muss man hier Künstliche Intelligenz (KI) hinzunehmen – keine Fehler machen. Computer werden von Menschen programmiert, mit Input gefüttert und ihr Output bedarf grundsätzlich der Überprüfung und Interpretation. Handlungen vollziehen und dafür Verantwortung übernehmen können ebenfalls nur Menschen. Falls sich Entscheidungen auf Erkenntnisse stützen, die mithilfe von Computern bzw. KI gewonnen wurden, müssen die relevanten Codes und Daten offengelegt werden. „Erforderlichenfalls sollte eine solche Offenlegung die befolgten Informationssicherheitsstandards und -protokolle, Berichte über Systemprüfungen, Belege dafür, dass Fehlermeldungen und Systemänderungen zuverlässig verwaltet wurden, sowie Aufzeichnungen über Maßnahmen umfassen, mit denen sichergestellt werden soll, dass Beweise nicht manipuliert werden“, schrieb eine Gruppe von Anwälten und Wissenschaftlern im Jahr 2021 [6].

IT-Systeme können sehr komplex sein – insbesondere dann, wenn sie neuronale Netze verwenden, die irgendeinen Input in irgendeinen Output umsetzen, ohne einen Algorithmus zu befolgen. Wenn KI dann zu Entscheidungen führt, die um Leben und Tod gehen – von medizinischen Diagnosen und von der Strafjustiz über Bank- und Finanzwesen bis hin zu selbstfahrenden Autos – muss klar sein, wer die Verantwortung trägt. „Ich war’s nicht, der Computer war es“ – darf nie geschehen. Oder mit Nature gesagt: „Man kann nicht davon ausgehen, dass Computer zuverlässig sind, und einschlägige Gesetze, die eine solche Vermutung aufstellen, müssen überprüft werden, damit sich ein solcher Justizirrtum nie wiederholen kann“ [4].


#
#

Korrespondenzadresse

Prof. Dr. Dr. Manfred Spitzer
Universität Ulm
Abteilung für Psychiatrie
Leimgrubenweg 12–14
89075 Ulm
Deutschland

Publikationsverlauf

Artikel online veröffentlicht:
13. März 2024

© 2024. Thieme. All rights reserved.

Georg Thieme Verlag KG
Rüdigerstraße 14, 70469 Stuttgart, Germany


   Lizenzen und Reprints