II. Entwicklung des Modells

Verzerrung und Fairness im maschinell überwachten Lernen


Die Technik des maschinellen Lernens findet in immer mehr Anwendungsbereichen Verbreitung. Einige davon sind besonders sensibel – etwa das Gesundheitswesen, die Personalbeschaffung oder die Strafjustiz. In solchen Bereichen ist es besonders wichtig, maschinelle Lernmodelle mithilfe von Methoden zur Verringerung von Verzerrungen zu entwickeln, um ethische Bedenken zu vermeiden.


Ein maschinelles Lernmodell kann als unfair oder voreingenommen eingestuft werden, wenn seine Entscheidungen zugunsten einer bestimmten Gruppe von Menschen verzerrt sind.
Im Kontext des maschinellen Lernens wird Fairness definiert als „die Abwesenheit von Vorurteilen oder Bevorzugung gegenüber einer Person oder Gruppe aufgrund ihrer angeborenen oder erworbenen Eigenschaften“.



Correctional Offender Management Profiles for Alternative Sanctions (COMPAS)
COMPAS war eines von zwei führenden kommerziellen Werkzeugen in den USA, um die Wahrscheinlichkeit eines Strafgefangenen zu bewerten, rückfällig zu werden – ein Begriff, der verwendet wird, um Straftäter zu beschreiben, die erneut Straftaten begehen.

Eine von ProPublica durchgeführte Analyse zeigte jedoch, dass schwarze Angeklagte deutlich häufiger fälschlicherweise als hohes Rückfallrisiko eingestuft wurden als weiße Angeklagte. Umgekehrt wurden weiße Angeklagte wesentlich häufiger fälschlicherweise als niedriges Risiko bewertet als schwarze Angeklagte. Trotzdem wurde das Werkzeug zunehmend im frühen Stadium des Strafjustizverfahrens eingesetzt – etwa bei Entscheidungen über Untersuchungshaft und Strafmaß, dem sogenannten „Front-End“ des Justizsystems.


WEITERLESEN: Mattu, Julia Angwin, Jeff Larson, Lauren Kirchner, Surya. „Machine Bias.“ ProPublica. Zugriff am 6. März 2024. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.


Im maschinellen Lernen gelten die Trainingsdaten häufig als Hauptursache für Verzerrungen. Wie bereits erwähnt, werden Modelle im überwachten Lernen auf beschrifteten Daten trainiert – und diese Daten enthalten oft menschliche Entscheidungen, die gesellschaftliche oder historische Ungleichheiten widerspiegeln. Dadurch besteht die Gefahr, dass die Modelle bestehende Verzerrungen fortschreiben und systematische Benachteiligungen bestimmter Personengruppen aufrechterhalten oder verstärken, anstatt zu einer gerechteren Zukunft beizutragen.

Einige Formen von Verzerrungen, die in Daten auftreten können, umfassen unter anderem:

  • Stichprobenverzerrung entsteht, wenn bestimmte Bevölkerungsgruppen im Trainingsdatensatz über- oder unterrepräsentiert sind. Ein Beispiel dafür wäre ein Rekrutierungswerkzeug, das überwiegend auf Daten weißer männlicher Bewerber trainiert wurde.

Um Verzerrungen zu reduzieren, müssen zunächst alle geschützten Merkmale im Datensatz identifiziert werden. Geschützte Merkmale sind solche, die nicht zur Entscheidungsfindung herangezogen werden dürfen. Zu den häufigsten zählen ethnische Herkunft, Religion, nationale Herkunft, Geschlecht, Familienstand, Alter und sozioökonomischer Status. Anschließend können verschiedene Methoden zur Verringerung von Verzerrungen eingesetzt werden, darunter zum Beispiel:


  1. Eine der Methoden nennt sich „Fairness Through Unawareness“ (Fairness durch Unkenntnis), bei der alle geschützten Merkmale aus dem Datensatz entfernt werden, um zu verhindern, dass der Algorithmus für maschinelles Lernen diese bei der Vorhersage berücksichtigt. Diese Methode haben wir in unserer vorherigen Aufgabe verwendet. Wir haben unser Modell nicht mit geschützten Merkmalen von Studierenden wie Alter und Geschlecht trainiert.
  2. Eine andere Methode heißt „Sampling“. Beim Sampling wird überprüft, wie die geschützten Merkmale im Datensatz vertreten sind. Ist ein Merkmal ungleich verteilt, muss die Anzahl der Stichproben so angepasst werden, dass keine Gruppe über- oder unterrepräsentiert ist. Wird beispielsweise das Merkmal Geschlecht im Trainingsdatensatz berücksichtigt, sollte darauf geachtet werden, dass für jedes Geschlecht eine ausgewogene Anzahl an Beispielen vorhanden ist.

  • Beschriftungsverzerrung entsteht, wenn beim Annotieren der Trainingsdaten unbeabsichtigt Verzerrungen eingebracht werden. Dies kann zum Beispiel dann passieren, wenn die Personen, die die Daten beschriften, keine vielfältige Gruppe darstellen – etwa in Bezug auf Herkunft, ethnische Zugehörigkeit, Sprache, Alter oder Geschlecht – und ihre eigenen, meist unbewussten Vorurteile in die Beschriftungen einfließen lassen. Solche Verzerrungen können dazu führen, dass bestimmte Gruppen systematisch benachteiligt werden.
  • Ergebnisstellvertreterverzerrung tritt auf, wenn die Zielgröße eines maschinellen Lernmodells nicht passend gewählt wird. Ein Beispiel ist die Vorhersage, ob eine Person ein Verbrechen begehen wird, basierend auf der Anzahl früherer Verhaftungen. Diese Größe ist problematisch, da Verhaftungsraten in stärker überwachten Vierteln höher sind – unabhängig von der tatsächlichen Kriminalitätsrate. Zudem bedeutet eine Verhaftung nicht automatisch, dass jemand schuldig ist. Ein weiteres Beispiel ist die Verwendung der Gesundheitskosten einer Person als Stellvertreter für ihren Gesundheitszustand – auch das kann verzerrt sein, da hohe Kosten nicht zwangsläufig auf schlechte Gesundheit hinweisen.

    1. Für die letzten beiden Verzerrungstypen wird empfohlen, dass die Modellentwicklung von einer interdisziplinären Gruppe durchgeführt wird. Diese sollte eine vielfältige Zusammensetzung aufweisen – mit unterschiedlichen fachlichen Hintergründen, Herkunftsorten, ethnischen Zugehörigkeiten, Sprachen, Altersgruppen und Geschlechtern –, um verschiedene Perspektiven einzubringen und Verzerrungen frühzeitig zu erkennen und zu vermeiden.

Solche Verzerrungen können nicht nur durch gesellschaftliche Vorurteile entstehen, die bereits in den Trainingsdaten verankert sind. Sie können auch im Laufe des gesamten Entwicklungsprozesses durch bestimmte Entscheidungen innerhalb des Workflows des maschinellen Lernens eingebracht werden – sowie durch komplexe Rückkopplungseffekte, die auftreten, wenn ein Modell in der realen Welt zum Einsatz kommt.





!    COMPAS war nicht der einzige Fall von KI-Verzerrung. Suchen Sie im Internet nach einem weiteren bekannten Fall (möglicherweise in Ihrem Fachgebiet, aber nicht zwingend) und beschreiben Sie die Konsequenzen und Gefahren des Falls für das Leben der Menschen.
Schreiben Sie Ihre Antworten in die Taskcards unten.