Few-Shot Learning

Few-Shot Learning ist eine Form des sogenannten In-Context-Learnings. Statt ein Modell durch erneutes Training auf eine Aufgabe anzupassen, stellt man die nötige Anleitung direkt in den Prompt. Ein typischer Few-Shot-Prompt enthält mehrere Eingabe-Ausgabe-Paare als Beispiele, gefolgt von der eigentlichen, noch unbeantworteten Eingabe. Das Modell erkennt das Muster und vervollständigt es konsistent.

Der Begriff stammt aus der Beobachtung, dass große Sprachmodelle erstaunlich gut darin sind, aus nur wenigen Demonstrationen zu generalisieren. Wo ältere Verfahren tausende annotierte Datenpunkte benötigten, genügen hier oft eine Handvoll gut gewählter Beispiele, um Format und Stil der Antwort verlässlich festzulegen.

Entscheidend ist, dass dieses Lernen flüchtig ist: Es gilt nur für den aktuellen Aufruf und verschwindet danach. Beim nächsten Prompt muss das Modell die Beispiele erneut sehen. Das unterscheidet Few-Shot Learning grundlegend vom Fine-Tuning, bei dem das gelernte Verhalten dauerhaft in den Gewichten verankert wird.

Je nach Anzahl der mitgelieferten Beispiele unterscheidet man drei Stufen. Beim Zero-Shot-Prompting erhält das Modell nur die Anweisung ohne Beispiel. Beim One-Shot-Prompting kommt genau ein Beispiel hinzu, beim Few-Shot-Prompting mehrere. Mehr Beispiele helfen besonders dann, wenn das gewünschte Format ungewöhnlich ist oder die Aufgabe Feinheiten enthält, die sich schwer in Worten beschreiben lassen.

Die folgende Tabelle stellt die drei Varianten gegenüber. Als Faustregel gilt: Je klarer und gängiger die Aufgabe, desto eher reicht Zero-Shot; je spezifischer Format oder Tonalität sein müssen, desto mehr lohnen sich Beispiele. Allerdings verbrauchen Beispiele Platz im Kontextfenster und erhöhen die Kosten pro Anfrage.

In der Praxis ist Few-Shot Learning ein zentrales Werkzeug des Prompt-Engineerings. Es überbrückt die Lücke zwischen einer reinen Anweisung und einem vollständig trainierten Spezialmodell und liefert bei vielen Aufgaben bereits sehr gute Ergebnisse, ohne dass eigene Trainingsdaten oder Infrastruktur nötig wären.

Ein anschauliches Beispiel ist die Klassifikation von Kundennachrichten in Kategorien wie Reklamation, Anfrage oder Lob. Zeigt man dem Modell für jede Kategorie ein oder zwei typische Nachrichten samt korrekter Einordnung, ordnet es neue Nachrichten anschließend deutlich treffsicherer ein, als wenn es nur die Kategorienamen ohne Beispiel kennt. Genau diese Demonstration des gewünschten Verhaltens ist der Kern des Few-Shot-Prinzips.

Die Qualität eines Few-Shot-Prompts steht und fällt mit der Auswahl der Beispiele. Sie sollten repräsentativ für die echten Eingaben sein, das gewünschte Ausgabeformat exakt vorleben und untereinander konsistent sein. Widersprüchliche oder schlecht formatierte Beispiele verwirren das Modell mehr, als dass sie helfen.

Auch die Reihenfolge und Vielfalt der Beispiele spielen eine Rolle. Deckt man verschiedene typische Fälle ab – etwa unterschiedliche Eingabelängen oder Sonderfälle – generalisiert das Modell robuster. Bei Klassifikationsaufgaben empfiehlt es sich, die vorkommenden Kategorien ausgewogen zu zeigen, damit das Modell keine Klasse bevorzugt.

Schließlich gilt es, die Balance zwischen Nutzen und Kosten zu halten. Jedes Beispiel verbraucht Tokens und damit Kontextfenster und Rechenbudget. Mehr Beispiele bringen oft schnell abnehmenden Zusatznutzen, weshalb man die kleinste Menge wählen sollte, mit der die Ergebnisse zuverlässig stimmen.

Few-Shot Learning ist mächtig, aber nicht für alles geeignet. Beispiele belegen Platz im Kontextfenster, der dann für die eigentliche Eingabe fehlt. Bei sehr langen Eingaben oder vielen benötigten Beispielen stößt die Methode an Grenzen, und die Kosten pro Anfrage steigen spürbar.

Wenn dieselbe Aufgabe in großem Volumen und stets gleichbleibend gelöst werden muss, kann Fine-Tuning langfristig günstiger und zuverlässiger sein, weil das Verhalten dann ohne Beispiele im Modell verankert ist. Für faktenintensive Aufgaben wiederum ist häufig eine Kombination mit Retrieval, also dem gezielten Einspeisen von Wissen, der bessere Weg.

In vielen realen KI-Lösungen wird Few-Shot Learning daher mit anderen Techniken kombiniert: ein klarer System-Prompt für die Rolle, einige Beispiele für das Format und gegebenenfalls abgerufener Kontext für die Fakten. Diese Schichtung liefert oft die beste Mischung aus Steuerbarkeit, Genauigkeit und Aufwand.