2. Verstehen und Erzeugen von Sprache

Transformer Fine Tuning

2. Lernphase: "Fine-Tuning"

Trainingsdaten: Sorgfältig ausgewählte und aufbereitete Beispiele für spezifische Anwendungsfälle.
Um ein Assistenzsystem wie ChatGPT zu erhalten, ist noch eine zweite zusätzliche Trainingsphase erforderlich. Der Rechenaufwand, der nötig ist, um die "Feinjustierung" eines Großen Sprachmodells für eine spezifische Aufgabe durchzuführen, ist wesentlich kleiner, als das Pre-Training des Basismodells. Allerdings werden qualitativ hochwertige Daten benötigt, denn diese Fine-Tuning Daten enthalten bspw. genau passende Antworten auf Fragen. 

Das Sprachmodell kann für verschiedene Aufgaben der natürlichen Sprachverarbeitung ("Natural Language Processing", NLP) trainiert werden. Dabei wird nicht nur das Beantworten von Fragen, sondern auch das Klassifizieren, Zusammenfassen, Übersetzen, Analysieren von Texten und vieles mehr trainiert. Die Transformer-Architektur kann auf erstaunliche Weise lernen.
Schritte beim Fine-Tuning
  1. Fine-Tuning-Datensätze erstellen: Hierfür werden gut beschriftete Daten benötigt. Oft werden für diese Aufgabe Menschen eingestellt, die Daten beschriften, vergleichen oder qualitativ hochwertige Antworten formulieren. Zunehmend können Daten auch aus bestehenden Sprachmodellen extrahiert werden.
  2. Fine-Tuning durchführen: Dieses Training erfordert in der Regel deutlich weniger Rechenaufwand und kann sogar mit allgemein zugänglichen Computern durchgeführt werden.
  3. Modell testen und anhand der Ergebnisse weiter verfeinern.
  4. Modell anwenden: Dabei ebenfalls Fehler und Unzulänglichkeiten registrieren, um sie für weitere Verbesserungen des Modells nutzen zu können.


Ein vortrainiertes Modell kann auf eine bestimmte Domäne, einen Datensatz oder eine Aufgabe feinabgestimmt werden. Es gibt viele verschiedene Möglichkeiten der Feinabstimmung, je nachdem, welche Parameter genau mit den Feinabstimmungsdaten aktualisiert werden: alle Parameter, einige der Parameter oder nur die Parameter spezifischer zusätzlicher Schaltkreise.

(Speech and Language Processing. Daniel Jurafsky & James H. Martin. Copyright © 2024. All rights reserved. Draft of August 20, 2024.)




Ein Problem der GPTs ist nicht nur ihre stochastische Funktionsweise (auf Wahrscheinlichkeiten basierend), sondern auch ihre Intransparenz. Sie bestehen aus vielen Milliarden Parametern, die eine komplexe Schätzfunktion beschreiben. Die Trainingsdaten werden nur zum Einstellen der Schätzfunktion genutzt und liegen nicht mehr explizit vor. Zwar weiß man genau, mit Hilfe welcher mathematischer Operationen die Vorhersageleistung der Systeme optimiert werden kann. Jedoch kann daraus nicht geschlossen werden, wie das Produkt des Optimierungsprozesses funktioniert. Es ist noch weitgehend unklar, wie die vielen Parameter der trainierten GPTs zusammenspielen, um die Fähigkeiten hervorzubringen, die auch KI-Experten überrascht haben.