Zusammenfassung
Bei der Diskussion der Validität prognostischer Verfahren wird vorwiegend auf die
aus der Testpsychologie bekannten Testgütekriterien (Objektivität, Reliabilität, Validität)
Bezug genommen. Kaum berücksichtigt wird hingegen, dass die Validierung forensischer
Risikokalkulationen zu einer Reihe besonderer methodischer Herausforderungen führt:
So münden Risikokalkulationen in Wahrscheinlichkeitsaussagen, die eine qualitative
(welche Straftat) und eine quantitative Aussage (mit welcher Wahrscheinlichkeit) beinhalten.
Die Vernachlässigung des probabilistischen Charakters von Risikokalkulationen führt
zu methodisch fehlerhaften Annahmen über die prädiktive Validität eines Instrumentes
und die Auswahl geeigneter statistischer Prüfverfahren. So gilt die ROC-Analyse für
die Validierung von Prognoseinstrumenten als “state of the art”. Dieses Verfahren
wird jedoch dem probabilistischen Charakter der Prognose nicht gerecht, indem z. B.
Aspekte der Kalibrierung nicht berücksichtigt werden. Das kann dazu führen, dass ein
hoher ROC Wert mit einer schlechten Validität einhergeht. Ferner wurde häufig nicht
zwischen verschiedenen deliktspezifischen Risiken (z. B. allgemeine Rückfälligkeit
vs. spezifische Rückfälligkeit) differenziert. Im Rahmen der vorliegenden Arbeit werden
verschiedene Gütekriterien von prognostischen Verfahren unter methodischen Gesichtspunkten
aber auch unter dem Gesichtspunkt der Nützlichkeit von Instrumenten für den Praktiker
diskutiert und zusammenfassend dargestellt. Viele dieser Kriterien sind bislang in
der wissenschaftlichen Diskussion vernachlässigt worden, obwohl sie für die Beurteilung
des Indikationsspektrums und der Validität eines Verfahrens von Bedeutung sind.
Abstract
Risk assessment instruments have been the subject of a number of validation studies
which have mainly examined the psychometric properties known primarily from psychological
test development (objectivity, reliability and validity). Hardly any attention was
paid to the fact that validation of forensic risk assessment instruments is confronted
with a whole row of methodical challenges. Risk assessments include a quantitative
and a qualitative component in that they state the probability (quantitative) of a
particular offense (qualitative) to occur. To disregard the probabilistic nature of
risk calculations leads to methodically faulty assumptions on the predictive validity
of an instrument and what represents a suitable statistical method to test it. For
example, ROC analyses are considered to be state of the art in the validation of risk
assessment instruments. This method does however not take into account the probabilistic
nature of prognoses and its results can be interpreted only to a limited degree. ROC
analyses for example disregard certain aspects of an instrument’s calibration which
might lead in an instrument’s validation to high ROC values while demonstrating only
low validity. Further shortcomings of validation studies are that they ignore changes
of risk dispositions or that they don’t differentiate between offense specific risks
(e. g. any recidivism vs. violent or sexual recidivism). The paper discusses and reviews
different quality criteria of risk assessment instruments in view of methodological
as well as practical issues. Many of these criteria have been ignored so far in the
scientific discourse even though they are essential to the evaluation of the validity
and the scope of indication of an instrument.
Schlüsselwörter
Prognoseinstrumente - Validität - ROC
Key words
risk assessment instruments - validity - ROC
Literatur
frank.urbaniok@ji.zh.ch
