Leitport

WerkstattMessen

Drei Zahlen, die still kleiner wurden — an einem einzigen Messtag

Eine Auswertung über 78 Betriebe einer Branche. Interessanter als das Ergebnis war, wie oft die Zahl unterwegs falsch war — dreimal, und jedes Mal ohne Fehlermeldung.

Wir haben ein Verfahren, das aus einer Region eine belegte Liste macht: Betriebe aus offenen Karten holen, jede Website messen, jede Behauptung mit einer Zahl hinterlegen. Für die Gastronomie lief es im Juli. Diese Woche haben wir es zum ersten Mal auf eine andere Branche angewendet — Garagen und Autohandel, ganzer Kanton.

Das Ergebnis steht unten. Der nützlichere Teil ist, was auf dem Weg dorthin passiert ist.

Was gemessen wurde

Von 78 erreichbaren Websites dieser Branche:

sagen einer Suchmaschine nicht, dass dort eine Autowerkstatt ist 73 (94 %)
nennen keine maschinenlesbaren Öffnungszeiten 74 (95 %)
führen ihre Leistungen nicht maschinenlesbar 77 (99 %)
haben keine Beschreibung für den Suchtreffer 35 (45 %)

Dazu, jedes einzeln mit einem zweiten Werkzeug nachgeprüft: fünf Adressen existieren nicht mehr (keine Nameserver), ein Sicherheitszertifikat ist seit neun Monaten abgelaufen, drei Zertifikate laufen auf einen fremden Namen — wer dort https eintippt, bekommt zuerst eine Warnseite —, und fünf laufen in den nächsten dreissig Tagen ab.

Zum Vergleich dieselbe Messung in der Gastronomie, Juli 2026, 130 erreichbare Betriebe: 88 % ohne Auszeichnung, 94 % ohne Öffnungszeiten, 98 % ohne maschinenlesbares Angebot. Die Anteile bewegen sich zwischen zwei völlig verschiedenen Branchen kaum. Das ist der eigentliche Befund: Es ist keine Eigenheit der Wirtsleute, es ist die Bauweise, in der kleine Websites in dieser Region entstehen.

Ein Argument, das wir dabei verloren haben: das Gewicht. Die erste Auswertung über 13 Betriebe ergab einen Median von 2,6 MB — deutlich schwerer als in der Gastronomie. Über 78 Betriebe sind es 1,6 MB und 1,1 Sekunden. Der Verdacht war eine kleine Stichprobe, nicht ein Befund. Wir haben ihn zurückgezogen.

Und jetzt der Teil, um den es geht

Dreimal an diesem Tag war eine Zahl falsch. Kein einziges Mal gab es eine Fehlermeldung. Jedes Mal sah das Ergebnis vollkommen plausibel aus — nur eben etwas kleiner.

147 wurde 143

Unsere Messdateien tragen den Namen des Hosts. Ein Betrieb kann aber zu zwei Branchen gehören — ein Café mit angeschlossener Bäckerei ist beides —, und zwei Seiten desselben Hauses landen im selben Dateinamen. Der neue Branchenlauf hat vier Messungen des alten Bestands überschrieben.

Aufgefallen ist es nicht am Überschreiben, sondern daran, dass die Gesamtzahl des alten Bestands beim nächsten Blick 143 statt 147 war. Wer diese Zahl nicht auswendig kennt, merkt nichts.

Geändert: Das Werkzeug warnt jetzt, bevor es eine Messung mit anderer Adresse oder anderer Branche ersetzt.

9 tote Adressen wurden 5

Neun Adressen meldeten „nicht erreichbar“. Bei der Einzelprüfung blieben fünf übrig. Zwei Adressen existieren zwar noch, es antwortet nur nichts — das ist ein anderes Gespräch. Und zwei waren gar nicht tot: Ihre Seite lädt einwandfrei, sie hat nur ein falsches Zertifikat. Unser Abrufwerkzeug bricht dort ab, wo ein Browser warnt und den Weiterklick anbietet.

Das ist der Unterschied zwischen „Ihre Website ist weg“, was falsch gewesen wäre, und „Ihre Website warnt jeden Besucher“, was zutrifft und dringend ist. Der Ausweg war in einem Nachbarwerkzeug längst eingebaut — im Messwerkzeug fehlte er.

Geändert: Bei einem Zertifikatsfehler wird ohne Kettenprüfung nachgefasst und das Ergebnis als solches gekennzeichnet.

88 Hosts wurden als 78 gezählt

Nach einer Nacherhebung prüfte der Zertifikatslauf weiterhin genau so viele Hosts wie vorher. Er las die Datei der kleineren Erhebung, weil zwei Werkzeuge denselben Dateinamen nach zwei verschiedenen Regeln bilden.

Bemerkenswert daran: Diese Drift hatten wir am selben Tag als Kommentar in den Code geschrieben — „beim nächsten Werkzeug gehört das in ein gemeinsames Modul, sonst laufen die Namen auseinander“. Sie ist dann eine Stunde später eingetreten. Eine Warnung im Kommentar ist keine Vorkehrung.

Was wir daraus mitnehmen

Eine Zahl, die kleiner wird, sieht nicht nach einem Fehler aus. Ein Absturz meldet sich. Eine leere Liste fällt auf. Eine Auswertung, die 143 statt 147 Betriebe zählt, sieht aus wie eine Auswertung. Alle drei Vorfälle wurden nur sichtbar, weil ein Vorlauf existierte, gegen den man vergleichen konnte.

Daraus folgt die Regel, mit der wir seither arbeiten: Vor jeder Auswertung die Kennzahl des letzten Laufs danebenlegen. Nicht das Ergebnis prüfen — die Grundgesamtheit. Wenn der Nenner wandert, stimmt kein Prozentwert darüber.

Und die zweite, unbequemere: Wer eine Messung veröffentlicht, sollte sagen können, wie oft sie an diesem Tag falsch war. Diese hier: dreimal.

Steht bei Ihnen dieselbe Frage an? Der erste Schritt ist ein Gespräch von dreissig Minuten, das nichts kostet.

Reden wir