Die Frage kommt immer in dieser Reihenfolge: Erst „welche Grafikkarte brauchen wir“, dann viel später „und wer schaut, ob das Ding läuft“. Die zweite Frage ist die teurere.
Was ein Dev-Rechner nicht ist
Unsere Modelle liefen anfangs auf einer starken Maschine, die gleichzeitig zum Entwickeln benutzt wurde. Dieselbe Karte trug Bildberechnung, Sprachmodell, Transkription und Sprachausgabe.
Was passiert ist: Die Hintergrunddienste, die das Sprachmodell am Leben halten, waren deaktiviert — und das fiel stundenlang nicht auf. Was die Anwendung meldete, war nicht „die Maschine ist aus“, sondern der viel harmlosere Satz „alle Anbieter fehlgeschlagen“.
Der zweite Fund war noch unangenehmer: Die Überwachung des Transkriptionsdienstes war so eingerichtet, dass sie beim Anmelden eines Benutzers startet. Ein Dienst, der erst läuft, wenn sich jemand an den Rechner setzt, ist kein Dienst.
Beides ist kein Hardware-Problem. Beides kostet keinen Franken an Material. Und beides ist der eigentliche Unterschied zwischen „läuft bei mir“ und „läuft“.
Die Last ist nicht eine Last
Bevor man Hardware kauft, lohnt es sich, die Aufgabe zu zerlegen. Bei Sprache zum Beispiel gibt es drei sehr verschiedene Fälle:
- Sprachnachricht: Durchsatz zählt, Verzögerung ist egal.
- Sprachbefehl: Verzögerung unter einer Sekunde, dafür kleines Modell.
- Besprechung mit mehreren Personen: braucht zusätzlich die Zuordnung, wer gerade spricht — und genau die ist der hungrige Teil.
Der Punkt: Das, was immer laufen muss, ist der leichte Teil. Der schwere Teil darf warten. Wer das nicht trennt, dimensioniert die Maschine nach dem seltensten Fall und bezahlt sie jeden Monat mit Strom.
Grössenordnungen, keine Messung
| Aufbau | grosses Modell | kleines Modell | Leistung |
|---|---|---|---|
| starke Spiel-/Arbeitskarte | 20–50× Echtzeit | 100×+ | 150–350 W, laut |
| mittlere Karte | 10–20× | 40–80× | 120–200 W |
| Apple-Silicon-Kleinrechner | 5–12× | 20–40× | ~30 W, lautlos |
| nur Hauptprozessor | 0,5–2× (grenzwertig) | 4–10× | 65–150 W |
Diese Tabelle ist ausdrücklich keine eigene Messung. Sie steht so, mit demselben Vorbehalt, in unserer internen Entscheidungsgrundlage — und sie reicht trotzdem, um die Entscheidung zu treffen, denn die Unterschiede sind nicht knapp, sondern eine Grössenordnung.
Was man daran ablesen kann: Ein 30-Watt-Kleinrechner schafft grosse Modelle in mehrfacher Echtzeit. Für Sprachnachrichten, Suche über eigene Dokumente und Textarbeit ist das reichlich. Nur der reine Hauptprozessor wird beim grossen Modell grenzwertig — eine Minute Ton braucht dann über eine Minute Rechnung.
Die Rechnung, die wir tatsächlich aufgemacht haben
Am Ende stand nicht der Kauf einer zweiten Grafikkarte, sondern das Gegenteil: einen ohnehin frei werdenden Kleinrechner zur eigenständigen Sprach-Maschine machen. Rund 30 Watt, lautlos, immer an — und, das war der eigentliche Grund, physisch getrennt von der Maschine, auf der gearbeitet wird. Damit kann eine Bildberechnung die Transkription nie wieder verdrängen.
Zusätzliche Hardware-Kosten: keine. Der wirksamste Posten war eine Entscheidung, kein Einkauf.
Was daraus folgt
Wenn Sie ein Modell im Haus betreiben wollen, sind das die Fragen in der Reihenfolge, in der sie zählen:
- Was muss immer laufen — und was darf warten? Meistens ist der Dauerbetrieb der kleinere Teil.
- Wer merkt es, wenn es steht? Ein Dienst ohne eigene Meldung ist ein Dienst, dessen Ausfall Sie von einem Nutzer erfahren.
- Startet er ohne Menschen? Nach einem Stromausfall, nach einem Neustart, ohne dass sich jemand anmeldet.
- Läuft er getrennt von dem, was Sie sonst tun? Geteilte Maschinen verdrängen sich gegenseitig, und zwar immer zum ungünstigsten Zeitpunkt.
- Erst dann: Welche Karte?
Die ersten vier Punkte kosten Zeit statt Geld. Sie sind der Grund, warum ein Modell im Haus überhaupt tragfähig ist — und der Grund, warum es das ohne sie nicht ist.