Modelle sind Zulieferteile. Sie werden abgekündigt, ersetzt und still aktualisiert, während der Prozess, der sie nutzt, unverändert bleiben soll. Wer keine Methode für diesen Austausch hat, betreibt seine Automatisierung auf einer Grundlage, die sich ohne Ankündigung ändern kann.
Warum ein besseres Modell schlechtere Ergebnisse liefern kann
Ranglisten messen allgemeine Fähigkeiten. Ein Unternehmensprozess misst etwas anderes: ob eine bestimmte Aufgabe mit einer bestimmten Anweisung in einem bestimmten Format zuverlässig gelöst wird.
Diese beiden Dinge fallen häufig auseinander. Ein neueres Modell formuliert ausführlicher, wo Knappheit gefordert war. Es fügt Erklärungen hinzu, wo reines JSON erwartet wird. Es interpretiert eine Grenzfallregel anders, weil es stärker auf eigene Einschätzung setzt statt auf die Anweisung. Nichts davon ist ein Fehler des Modells — es ist eine Abweichung vom eingespielten Verhalten, an das der nachgelagerte Code angepasst wurde.
- Ausgabeformat: zusätzliche Rahmentexte um JSON herum lassen den Parser scheitern.
- Antwortlänge: verändert Kosten und passt nicht mehr in Feldbegrenzungen.
- Klassifikationsgrenzen: Grenzfälle kippen in die andere Kategorie.
- Ablehnungsverhalten: legitime Anfragen werden vorsichtiger behandelt als bisher.
- Sprachniveau: Tonalität in Kundentexten verschiebt sich unbemerkt.
Der teuerste Fall ist nicht der harte Fehler. Ein Prozess, der abbricht, wird sofort bemerkt. Gefährlich ist die stille Verschlechterung: Klassifizierungen, die zu fünf Prozent anders ausfallen als vorher — genug, um Zahlen zu verfälschen, zu wenig, um aufzufallen.
Der Prüfsatz ist die Voraussetzung für jeden Wechsel
Ohne eine feste Menge von Beispielen mit bekanntem Sollergebnis ist ein Modellvergleich eine Geschmacksfrage. Der Prüfsatz muss nicht groß sein — einige Dutzend echte Fälle je Anwendung reichen meist aus, wenn sie richtig ausgewählt sind.
Entscheidend ist die Zusammensetzung: typische Fälle für die Grundqualität, bekannte Grenzfälle für die Regeltreue, historische Fehlerfälle als Regressionsschutz und bewusst unsaubere Eingaben für die Robustheit. Wie so eine Prüfstrecke aufgebaut wird, beschreibt der Beitrag zur KI-Evaluation.
Der Prüfsatz gehört versioniert neben den Code — nicht in eine Tabelle, die jemand pflegt. Er ist Teil der Anwendung, nicht Dokumentation.
Schattenbetrieb statt Umschalten
Das wirksamste Verfahren ist ein Parallellauf: Das neue Modell verarbeitet dieselben Eingaben wie das alte, seine Ausgaben werden protokolliert, aber nicht verwendet. Nach einigen Tagen liegt ein Vergleich auf echten Produktivdaten vor — inklusive der Fälle, an die beim Aufbau des Prüfsatzes niemand gedacht hat.
Die Kosten dieses Verfahrens sind überschaubar, weil es zeitlich begrenzt ist. Ausgewertet wird nicht, welche Antwort schöner ist, sondern wie oft beide Modelle voneinander abweichen und wie diese Abweichungen aussehen. Eine niedrige Abweichungsquote mit unkritischen Unterschieden ist das Signal zum Umschalten.
Was technisch vorbereitet sein muss
Ein Wechsel ist nur dann eine Konfigurationsänderung, wenn die Anwendung entsprechend gebaut ist. Vier Punkte entscheiden darüber.
- Modellname als Konfiguration: nie im Code verteilt, sondern an einer Stelle.
- Protokollierte Modellversion: jede Ausgabe trägt, welches Modell sie erzeugt hat.
- Validierung der Ausgabe: Formatprüfung vor der Weiterverarbeitung, mit definiertem Verhalten im Fehlerfall.
- Rückweg: die Möglichkeit, in Minuten auf das alte Modell zurückzuschalten.
Der zweite Punkt wird am häufigsten übersehen und ist im Nachhinein der wichtigste. Ohne protokollierte Modellversion lässt sich eine Woche später nicht mehr feststellen, ob ein auffälliges Ergebnis vom alten oder vom neuen Modell stammt.
Wann ein Wechsel sich lohnt — und wann nicht
Nicht jede neue Version rechtfertigt den Aufwand. Sinnvoll ist ein Wechsel, wenn er einen konkreten Engpass löst: deutlich niedrigere Kosten bei gleicher Qualität, spürbar kürzere Antwortzeiten, ein größeres Kontextfenster, das eine bisher unmögliche Anwendung erlaubt — oder die schlichte Abkündigung des bisherigen Modells.
Nicht ausreichend ist ein besserer Platz in einer Rangliste. Er sagt nichts darüber aus, ob die eigene Aufgabe besser gelöst wird. Wer ohne diesen Nachweis wechselt, tauscht ein bekanntes Verhalten gegen ein unbekanntes und bezahlt dafür mit Prüfaufwand, den er anschließend ohnehin leisten muss.
Sinnvoll ist deshalb ein fester Rhythmus statt Einzelfallentscheidungen: einmal im Quartal die genutzten Modelle gegen die aktuellen Alternativen prüfen, dokumentieren und bewusst entscheiden — auch wenn die Entscheidung lautet, alles zu lassen, wie es ist.