2. Verstehen und Erzeugen von Sprache

Sprachmodelle


Ein Sprachmodell kann vorhersagen, welche Wörter nach Eingabe einer Wortfolge wahrscheinlich als nächstes kommen werden. So kann es z.B. Vervollständigungen für eine E-Mail oder Textnachricht vorschlagen. Es kann so auch komplette Texte erzeugen, wenn die erzeugten Wörter jeweils dem Text hinzugefügt werden.


Bild: Wortvorhersage in einem Messenger
 
Definition "Sprachmodell":
"Ein Sprachmodell stellt eine Wahrscheinlichkeitsverteilung dar, die die Wahrscheinlichkeit für das Auftreten einer beliebigen Zeichenfolge beschreibt. (Russell, Stuart J, Peter Norvig, and Ming-wei Chang. Artificial Intelligence : A Modern Approach. Fourth edition, global edition. Harlow, United Kingdom: Pearson, 2022.)

!   Auch wir Menschen können anhand einer kleinen Zahl gegebener Worte nachfolgende Wörter vorhersagen. Erraten Sie aus dem gegebenen Textanfang wie der Satz weitergeht. Tragen Sie ein zu erwartendes Wort ein. 



Sprachmodelle erzeugen aus einem gegebenen Kontext Wahrscheinlichkeiten für das nächste zu erwartende Wort. Die Animation illustriert die Idee, wie damit Text erzeugt werden kann (Klicke auf das Bild, um die Animation zu starten.) 
 
Video: Erzeugen eines Textes mit Hilfe eines Sprachmodells  Voita, E. (2020). NLP Course For You.