Über gelungene KI-Projekte wird viel geschrieben. Das Nützliche steht in den misslungenen. Hier sind zwei aus unserer eigenen Arbeit, mit den Zahlen, die danach erhoben wurden.
Erster Fehlschlag: eine Vorgabe, die alles betraf
Unser Transkriptionsdienst hatte einen scheinbar harmlosen Vorgabewert: die Sprache „Deutsch“. Gesetzt war er nicht beim einzelnen Auftrag, sondern beim Laden des Modells.
Das ist der ganze Fehler — und er ist unscheinbar. Wird die Sprache beim Laden festgelegt, schaltet das die automatische Erkennung ab, und zwar dauerhaft für den gesamten Dienst und alle, die ihn benutzen. Jede Aufnahme wurde als Deutsch dekodiert.
Was man gesehen hat: nichts. Deutsches Material war unauffällig. Englische Aufnahmen kamen als Sprachgemisch zurück — streckenweise korrektes Englisch, dazwischen deutsches Kauderwelsch und erfundene Einschübe, wie sie Untertitel-Modelle produzieren, wenn sie nichts verstehen.
Das Ausmass, nach dem Fund ausgezählt: von 1524 Transkripten waren 121 stark verdorben, 469 leicht, 929 sauber.
Zwei Vorher-Nachher-Stichproben: der Anteil deutscher Füllwörter in englischem Text fiel von 23,95 % auf 0,00 % und von 21,21 % auf 0,00 % — und das Transkript wurde dabei länger. Die Vorgabe hatte also nicht nur verfälscht, sondern auch Inhalt verschluckt.
Warum es so lange niemand merkte
Drei Gründe, und alle drei sind übertragbar:
- Die Qualitätsmessung war strukturell blind. Sie lief auf deutschem Material — genau dem Teil, den der Fehler nicht traf. Sie zeigte grün, und sie hatte recht: Für das, was sie mass, war alles in Ordnung. Ein Messwert, der nicht sehen kann, was schiefgeht, ist beruhigend und wertlos.
- Die Antwort trug ein Etikett, dem man glaubte. In jeder Antwort stand „Sprache: Deutsch“. Frühere Korrekturen hatten deshalb genau das Falsche geheilt: das Etikett, nie die Dekodierung. Ein Feld, das eine Maschine selbst ausfüllt, ist keine Prüfung.
- Der Fehler lag eine Ebene tiefer als die Benutzung. Wer den Dienst aufrief, konnte alles richtig machen und bekam trotzdem das falsche Ergebnis.
Die Regel danach: Ein Sprachwunsch gehört an den einzelnen Auftrag, nie in die Ladezeit eines Dienstes. Was dort steht, gilt für alle — auch für die, die gar nicht wissen, dass es sie gibt.
Zweiter Fehlschlag: die Zahl, die sich selbst überschätzte
Aus 456 Zeitungsausgaben sollten Organisationen und Fördersignale extrahiert werden. Das Ergebnis las sich gut: 21’008 Organisationen, 1’240 Fördersignale.
Beim Einbau wurde nachgemessen — alle Rohdaten, nicht eine Stichprobe. Danach blieben von den 21’008 noch 5’041.
Drei von sieben Quellen waren unbrauchbar extrahiert. Ausgerechnet zwei davon führte das Ergebnis-Memo als „Top 3“. Die Fehlerbilder waren völlig verschieden:
- Bei der einen kamen Textfetzen statt Namen — und wurden pauschal einem Typ zugeordnet.
- Bei der zweiten hatten alle 76 Ausgaben exakt 100 Treffer. Eine so glatte Zahl ist kein Ergebnis, sondern eine Kappung.
- Bei der dritten wurde das Impressum wortweise zerlegt. Unter den „Organisationen“ stand am Ende das Wort „Lieferwagen“.
Was daran am meisten lehrt
Ein einzelnes Qualitätsmass trennt die Fälle nicht. Die schlechteste Quelle sah nach einer der Kennzahlen am saubersten aus — sie hatte null Prozent unklassifizierte Einträge, weil pauschal alles in denselben Topf ging. Eine andere hatte formal einwandfreie Namen, weil kurze Impressumswörter wie Namen aussehen. Es braucht mehrere Masse nebeneinander, und ein Urteil je Feld, nicht je Quelle: Bei einer Quelle fielen Organisationen und Signale aus verschiedenen Gründen durch.
Und der unangenehmste Teil: 783 der Fördersignale trugen durchgehend „Geber unbekannt, Empfänger unbekannt, Zweck unbekannt“. Das stand sauber dokumentiert da — als bekannte Einschränkung. Und wurde trotzdem in die Gesamtzahl gerechnet.
Eine bekannte Einschränkung, die in der Schlagzeilenzahl mitzählt, ist keine Transparenz. Sie ist eine Fussnote unter einer falschen Zahl.
Was wir daraus gemacht haben
- Vor die Zahl kommt ein Tor. Aus der Nachmessung wurde ein Prüfschritt, der jede Quelle an mehreren Massen misst und je Feld urteilt. Was nicht durchkommt, wird nicht gezählt — nicht mit Fussnote gezählt.
- Messen, was schiefgehen kann, nicht was gut aussieht. Wäre auch nur eine englische Aufnahme in der Qualitätsmessung gewesen, wäre der erste Fehler am ersten Tag aufgefallen.
- Kein Vertrauen in selbst ausgefüllte Felder. Eine Maschine, die behauptet, sie habe Deutsch erkannt, hat das nicht geprüft, sondern wiederholt, was ihr vorgegeben wurde.
- Enthaltung ist ein Ergebnis. Ein System, das „weiss ich nicht“ sagen darf, liefert weniger Zeilen und mehr Wahrheit.
Nichts davon ist ein KI-Problem im engeren Sinn. Es sind Betriebsfragen — und genau deshalb ist die Frage „was kann das Modell?“ fast nie die entscheidende. Die entscheidende lautet: Woran würden wir merken, dass es gerade nicht funktioniert?