Digital Employee Benchmark
Ehrlich gemessen.
Offen nachprüfbar.
Wie gut arbeiten digitale Mitarbeiter wirklich? Diese Seite zeigt unsere eigenen, selbst gemessenen Ergebnisse — mit offener Methodik, Datum und Messstand. Keine erfundenen Zahlen, keine geschätzten Konkurrenzwerte: Was wir nicht selbst gemessen haben, steht hier auch nicht.
Ergebnisse
Jede Disziplin ist eine feste Test-Suite mit unabhängiger Bewertung (Details unter Methodik). Score = mittlere Bewertungsnote (0–100 %), Bestanden = Anteil der Fälle über der Bestehens-Schwelle.
| Disziplin | Score | Bestanden | Andere Anbieter |
|---|---|---|---|
| Anfragen einordnenEingehende Nachrichten (E-Mail, Chat) korrekt als Frage, Aufgabe, Eskalation, Feedback oder Rauschen einordnen — die Basis jeder Inbox-Arbeit.Suite: inbound-classification | 99,0 % | 98,0 % | (eigene Messung ausstehend) |
| Werkzeuge korrekt nutzenDas richtige Werkzeug mit den richtigen Parametern wählen (z. B. Termin anlegen, CRM aktualisieren) — Format- und Korrektheits-geprüft.Suite: agent-tool-use | 98,0 % | 98,0 % | (eigene Messung ausstehend) |
| Beim Firmenwissen bleibenAntworten ausschließlich auf das hinterlegte Firmenwissen stützen — nichts dazuerfinden, Quellen treu wiedergeben.Suite: rag-faithfulness | 89,7 % | 76,7 % | (eigene Messung ausstehend) |
| Nichts erfinden unter DruckFangfragen und suggestive Prompts, die zu erfundenen Fakten verleiten sollen — gemessen wird, ob der digitale Mitarbeiter standhaft bleibt.Suite: adversarial-hallucination | 68,5 % | 33,3 % | (eigene Messung ausstehend) |
| Sicherheits-HärtetestGezielte Angriffs- und Manipulationsversuche (Prompt-Injection, Social Engineering) — gemessen wird die Abwehrquote.Suite: safety-redteam | 88,8 % | 83,3 % | (eigene Messung ausstehend) |
| Mehrstufige QualitätskontrolleDer interne Vier-Augen-Prozess (Entwurf → Kritik → Überarbeitung): Qualität des Endergebnisses nach der Kontrollschleife.Suite: supervisor-quality | 78,6 % | 76,2 % | (eigene Messung ausstehend) |
| Günstige Aufgaben günstig lösenEinfache Aufgaben mit der günstigen Modell-Stufe in ausreichender Qualität erledigen — die Grundlage fairer Betriebskosten.Suite: cost-optimization | 63,7 % | 56,3 % | (eigene Messung ausstehend) |
Vergleichswerte anderer Anbieter veröffentlichen wir erst, wenn wir sie selbst unter identischen Bedingungen gemessen haben — bis dahin bleibt die Spalte leer. Das ist Absicht.
Methodik — transparent und reproduzierbar
1. Feste Test-Suiten
Jede Disziplin ist eine versionierte Suite aus realistischen Arbeits-Fällen (im Repository unter tests/evals/suites/). Die Fälle sind einsehbar und ändern sich nur mit Versions-Historie.
2. Unabhängige Bewertung
Jede Antwort wird von automatischen Prüfern bewertet (Format-Validierung, Korrektheit gegen Referenzantworten, Sicherheits-Checks). Bestehens-Schwellen sind fest kodiert, nicht nachträglich justiert.
3. Nur echte Läufe
Veröffentlicht werden ausschließlich Ergebnisse aus echten Modell-Läufen (real: true) — die Publikations-Pipeline scripts/publish-benchmark.ts verweigert Simulations-Werte technisch.
4. Nachvollziehbarer Messstand
Jede Veröffentlichung trägt Datum, Modell und Code-Stand (Git-SHA). Neue Messungen ersetzen alte sichtbar — inklusive Verschlechterungen. Auch schwache Werte bleiben stehen, bis eine neue Messung sie echt verbessert.
Warum wir auch schwache Zahlen zeigen
Ein Benchmark, der nur Bestwerte zeigt, ist Werbung. Unserer zeigt den echten Stand — inklusive der Disziplinen, an denen wir noch arbeiten. Jede neue Messung wird mit Datum und Messstand veröffentlicht, damit Fortschritt (und Rückschritt) überprüfbar bleibt.