Welches Modell kann Büroarbeit?
Ein Assistent im Betrieb muss Rechnungen finden, Mails entwerfen, Aufgaben pflegen und Regeln anpassen, und das jedes Mal richtig. Wir haben 15 Modelle und Agenten-Harnesse an 46 echten Büroaufgaben gemessen. Hier stehen die Ergebnisse: Genauigkeit, Tempo und Kosten, erklärt ohne KI-Vorwissen.
So haben wir gemessen.
Die Aufgaben spielen in einem erfundenen Agentur-Workspace, der «Musterwerk GmbH». Sie hat Kunden, Offerten, ein Postfach, ein Aufgabenregister und Regeln, wie bei unseren echten Kunden. Jede Aufgabe ist eine Bitte, wie sie Lea oder Marco aus der Agentur stellen würden.
46 Aufgaben in 7 Kategorien, jede 3-mal gestellt. Gezählt wird streng: Eine Aufgabe gilt nur als gelöst, wenn alles stimmt, die Antwort, die Dateien und die Regeln. Ein halbrichtiges Ergebnis ist kein Treffer.
Freitext wie Mails oder Regeln beurteilt ein zweites Modell aus einer anderen Modellfamilie als das geprüfte, und zwar nach festen Ja-Nein-Kriterien, die wir vorher gegen menschliche Urteile geeicht haben. Gelaufen ist der Vergleich vom 18. bis 21.10.2026.
Am genausten Qwen 3.8 Flash 82 % gelöst
Am schnellsten GLM 5.3 Flash 17 s je Aufgabe
Am günstigsten DeepSeek V4.1 Flash USD 0.42 für alles
Bestes Verhältnis Qwen 3.8 Flash 82 % für USD 1.37
Die Rangliste.
Sortiert nach Genauigkeit. Laufzeit ist der Median je Aufgabe, Kosten sind zu Listenpreisen der Anbieter gerechnet. Der beste Wert jeder Spalte ist markiert.
| Modell | Genauigkeit | Laufzeit je Aufgabe | Kosten total | Kosten je gelöste Aufgabe |
|---|---|---|---|---|
1 Qwen 3.8 Flash | 82 % | 1:50 min | USD 1.37 | USD 0.012 |
2 Claude Sonnet 5.5 | 82 % | 18 s | USD 11.65 | USD 0.10 |
3 Qwen 3.8 27B | 80 % | 31 s | USD 4.22 | USD 0.038 |
4 DeepSeek V4.1 Flash | 79 % | 26 s | USD 0.42 | USD 0.004 |
5 Claude Haiku 5.5 | 79 % | 28 s | USD 1.26 | USD 0.011 |
6 Claude Opus 5.51 | 78 % | 34 s | USD 29.57 | USD 0.27 |
7 GPT-6 Luna2 | 77 % | 20 s | USD 0.69 | USD 0.006 |
8 Claude Haiku 5.5 | 73 % | 30 s | USD 1.08 | USD 0.011 |
9 Kimi K3 | 73 % | 28 s | USD 8.64 | USD 0.086 |
10 Mistral Large 4 | 73 % | 56 s | USD 10.86 | USD 0.11 |
11 GLM 5.3 Flash | 59 % | 17 s | USD 0.48 | USD 0.006 |
12 Gemma 4 31B | 51 % | 1:01 min | USD 3.80 | USD 0.054 |
13 Qwen 3.6 27B bei MTF3 | 49 % | 42 s | n/a | n/a |
14 Qwen 3.6 27B | 48 % | 39 s | USD 4.03 | USD 0.061 |
15 Apertus 1.5 70B4 | 1 % | 23 s | n/a | n/a |
- 1 Claude Opus 5.5: Unsere Referenz: Mit diesem Modell vergleichen wir alle anderen. Zwei Versuche zählen noch als nicht gelöst, obwohl Opus richtig lag. Die beiden Prüffehler sind behoben, die zwei Versuche lassen sich aber nicht nachträglich neu bewerten.
- 2 GPT-6 Luna: Kosten zu API-Listenpreisen. 101 der 138 Versuche liefen über das ChatGPT-Abo, 37 über die OpenAI-API.
- 3 Qwen 3.6 27B bei MTF: Gehostet von MTF Solutions in Schweizer Rechenzentren. Kosten fehlen, weil unser Testzugang bisher nichts kostet. Dasselbe Modell über OpenRouter steht als «Qwen 3.6 27B» in der Liste.
- 4 Apertus 1.5 70B: Das Schweizer Modell der ETH, EPFL und CSCS, gehostet von Infomaniak in Genf. Kosten fehlen, weil wir die Preisliste von Infomaniak noch nicht geprüft haben.
Genauigkeit gegen Kosten und Zeit.
Auf der orangen Linie liegen DeepSeek V4.1 Flash und Qwen 3.8 Flash: Kein anderes Modell ist zugleich günstiger und genauer. Am schnellsten ist GLM 5.3 Flash mit 17 s je Aufgabe.
- 1 Claude Haiku 5.5 (Claude Code) 79 % · 0.009
- 2 Claude Opus 5.5 78 % · 0.21
- 3 Claude Sonnet 5.5 82 % · 0.084
- 4 GPT-6 Luna 77 % · 0.005
- 5 Claude Haiku 5.5 (Hermes) 73 % · 0.008
- 6 DeepSeek V4.1 Flash 79 % · 0.003
- 7 Gemma 4 31B 51 % · 0.028
- 8 GLM 5.3 Flash 59 % · 0.003
- 9 Kimi K3 73 % · 0.063
- 10 Mistral Large 4 73 % · 0.079
- 11 Qwen 3.6 27B 48 % · 0.029
- 12 Qwen 3.8 27B 80 % · 0.031
- 13 Qwen 3.8 Flash 82 % · 0.010
- 1 Claude Haiku 5.5 (Claude Code) 79 % · 28 s
- 2 Claude Opus 5.5 78 % · 34 s
- 3 Claude Sonnet 5.5 82 % · 18 s
- 4 GPT-6 Luna 77 % · 20 s
- 5 Claude Haiku 5.5 (Hermes) 73 % · 30 s
- 6 DeepSeek V4.1 Flash 79 % · 26 s
- 7 Gemma 4 31B 51 % · 61 s
- 8 GLM 5.3 Flash 59 % · 17 s
- 9 Apertus 1.5 70B 1 % · 23 s
- 10 Kimi K3 73 % · 28 s
- 11 Mistral Large 4 73 % · 56 s
- 12 Qwen 3.6 27B bei MTF 49 % · 42 s
- 13 Qwen 3.6 27B 48 % · 39 s
- 14 Qwen 3.8 27B 80 % · 31 s
- 15 Qwen 3.8 Flash 82 % · 110 s
Genauigkeit je Kategorie.
Am schwersten fällt allen Modellen «Suche in Dateien» mit im Schnitt 51 %, am leichtesten «Dokumente erstellen» mit 79 %. Je grüner die Zelle, desto mehr Aufgaben der Kategorie hat das Modell gelöst.
| Modell | R1Suche in Dateien | R2Abfragen über CLIs | TAufgaben und Mails | WWorkflows ausführen | DDokumente erstellen | M1ICM-Struktur pflegen | M2Regeln und Workflows anpassen |
|---|---|---|---|---|---|---|---|
| Qwen 3.8 Flash | 50 % 6 Aufg. | 67 % 6 Aufg. | 94 % 6 Aufg. | 100 % 6 Aufg. | 94 % 6 Aufg. | 96 % 8 Aufg. | 74 % 8 Aufg. |
| Claude Sonnet 5.5 | 50 % 6 Aufg. | 67 % 6 Aufg. | 100 % 6 Aufg. | 100 % 6 Aufg. | 94 % 6 Aufg. | 83 % 8 Aufg. | 79 % 8 Aufg. |
| Qwen 3.8 27B | 67 % 6 Aufg. | 67 % 6 Aufg. | 83 % 6 Aufg. | 83 % 6 Aufg. | 94 % 6 Aufg. | 79 % 8 Aufg. | 83 % 8 Aufg. |
| DeepSeek V4.1 Flash | 50 % 6 Aufg. | 61 % 6 Aufg. | 89 % 6 Aufg. | 94 % 6 Aufg. | 94 % 6 Aufg. | 96 % 8 Aufg. | 67 % 8 Aufg. |
| Claude Haiku 5.5 (Claude Code) | 44 % 6 Aufg. | 67 % 6 Aufg. | 89 % 6 Aufg. | 100 % 6 Aufg. | 100 % 6 Aufg. | 75 % 8 Aufg. | 79 % 8 Aufg. |
| Claude Opus 5.5 | 50 % 6 Aufg. | 61 % 6 Aufg. | 89 % 6 Aufg. | 94 % 6 Aufg. | 89 % 6 Aufg. | 75 % 8 Aufg. | 88 % 8 Aufg. |
| GPT-6 Luna | 50 % 6 Aufg. | 72 % 6 Aufg. | 94 % 6 Aufg. | 94 % 6 Aufg. | 67 % 6 Aufg. | 83 % 8 Aufg. | 75 % 8 Aufg. |
| Claude Haiku 5.5 (Hermes) | 50 % 6 Aufg. | 61 % 6 Aufg. | 89 % 6 Aufg. | 100 % 6 Aufg. | 83 % 6 Aufg. | 67 % 8 Aufg. | 67 % 8 Aufg. |
| Kimi K3 | 56 % 6 Aufg. | 50 % 6 Aufg. | 83 % 6 Aufg. | 89 % 6 Aufg. | 89 % 6 Aufg. | 79 % 8 Aufg. | 67 % 8 Aufg. |
| Mistral Large 4 | 44 % 6 Aufg. | 61 % 6 Aufg. | 89 % 6 Aufg. | 83 % 6 Aufg. | 100 % 6 Aufg. | 71 % 8 Aufg. | 67 % 8 Aufg. |
| GLM 5.3 Flash | 56 % 6 Aufg. | 56 % 6 Aufg. | 78 % 6 Aufg. | 67 % 6 Aufg. | 83 % 6 Aufg. | 50 % 8 Aufg. | 33 % 8 Aufg. |
| Gemma 4 31B | 67 % 6 Aufg. | 67 % 6 Aufg. | 56 % 6 Aufg. | 50 % 6 Aufg. | 78 % 6 Aufg. | 50 % 8 Aufg. | 4 % 8 Aufg. |
| Qwen 3.6 27B bei MTF | 61 % 6 Aufg. | 67 % 6 Aufg. | 67 % 6 Aufg. | 44 % 6 Aufg. | 56 % 6 Aufg. | 38 % 8 Aufg. | 21 % 8 Aufg. |
| Qwen 3.6 27B | 61 % 6 Aufg. | 56 % 6 Aufg. | 67 % 6 Aufg. | 44 % 6 Aufg. | 61 % 6 Aufg. | 33 % 8 Aufg. | 25 % 8 Aufg. |
| Apertus 1.5 70B | 6 % 6 Aufg. | 0 % 6 Aufg. | 0 % 6 Aufg. | 0 % 6 Aufg. | 0 % 6 Aufg. | 0 % 8 Aufg. | 0 % 8 Aufg. |
Wer liegt gleichauf.
Drei Versuche je Aufgabe sind wenig. Ein Unterschied von ein paar Prozentpunkten kann Zufall sein. Darum vergleichen wir jedes Modell mit unserer Referenz Claude Opus 5.5 auf genau denselben Aufgaben und Versuchen (138 Paare) und fragen: Ist der Unterschied grösser, als der Zufall erklärt?
Die Referenz Claude Opus 5.5 löst 78 % der Aufgaben. Statistisch gleichauf liegen Qwen 3.8 Flash, Claude Sonnet 5.5, Qwen 3.8 27B, Claude Haiku 5.5 (Claude Code), DeepSeek V4.1 Flash, GPT-6 Luna, Claude Haiku 5.5 (Hermes), Kimi K3 und Mistral Large 4: Ihre Unterschiede zu Claude Opus 5.5 sind nicht vom Zufall zu unterscheiden.
Messbar dahinter liegen GLM 5.3 Flash, Gemma 4 31B, Qwen 3.6 27B bei MTF, Qwen 3.6 27B und Apertus 1.5 70B. Hier ist der Abstand gross genug, dass er nicht am Zufall liegt.
Was wir daraus lernen.
- Eine Einstellung kann zehn Punkte kosten. Claude Haiku 5.5 löst in Claude Code 79 % der Aufgaben, in Hermes 73 %, statistisch gleichauf. Mit der Standard-Schreibsperre von Hermes auf die ICM-Regeldateien waren es nur 63 %.
- Teuer heisst nicht besser. DeepSeek V4.1 Flash löst 79 % für USD 0.42 über alle 138 Versuche. Claude Sonnet 5.5 liegt mit 82 % statistisch gleichauf und kostet 28-mal so viel.
- Die Generation zählt mehr als die Grösse. Qwen 3.8 27B löst 80 %, sein gleich grosser Vorgänger Qwen 3.6 27B 48 %, bei ähnlichen Kosten.
- Das teuerste Modell liegt nicht vorne. Claude Opus 5.5, unsere Referenz, löst 78 % für USD 29.57 und liegt statistisch gleichauf mit neun günstigeren Modellen. Den Abstand machen vor allem Rückfragen: Opus fragt nach, wenn eine Bitte eine bestehende Regel lockern würde. Unser Benchmark zählt das bisher als Fehler, das ändern wir in der nächsten Runde.
- Schweizer Hosting kostet keine Genauigkeit. Qwen 3.6 27B löst bei MTF in Schweizer Rechenzentren 49 % der Aufgaben, über OpenRouter 48 %. Entscheidend ist das Modell, nicht der Standort.
- Das Schweizer Modell ist für Agenten noch nicht so weit. Apertus 1.5 70B ruft Werkzeuge auf, verwechselt aber Pfade und Argumente und löst 1 % der Aufgaben. Für Chat und Texte kann das anders aussehen, das haben wir nicht gemessen.
- Knapp antworten ist schwer. Bei Fragen, die eine Datei im ICM beantwortet, schafft kein Modell mehr als zwei Drittel strikt. Die meisten liefern Zusatzwissen, nach dem niemand gefragt hat, oder lassen die Quelle weg.
- Ordnung im ICM fällt am häufigsten durch. Backup vor der Änderung, Eintrag im Changelog, archivieren statt löschen: Diese Schritte fehlen öfter als jede andere feste Prüfung. Wer die Anleitung im ICM überspringt, scheitert hier fast immer.
Details.
Alle Aufgaben, alle Regelverstösse und die Kennzahlen, auf denen die Rangliste beruht.
Alle 46 Aufgaben, Ergebnis je Modell
Je Zelle, wie viele der 3 Versuche vollständig gelöst waren. Die Aufgabe steht als neutrale Kurzfassung: Die genaue Formulierung bleibt geheim, damit kein Modell darauf trainiert werden kann. 4 Aufgaben sind Negativaufgaben, bei denen Nachfragen oder Nichtstun richtig ist, 5 verlangen Code.
| Kategorie | Aufgabe | Qwen 3.8 Flash | Claude Sonnet 5.5 | Qwen 3.8 27B | DeepSeek V4.1 Flash | Claude Haiku 5.5 (Claude Code) | Claude Opus 5.5 | GPT-6 Luna | Claude Haiku 5.5 (Hermes) | Kimi K3 | Mistral Large 4 | GLM 5.3 Flash | Gemma 4 31B | Qwen 3.6 27B bei MTF | Qwen 3.6 27B | Apertus 1.5 70B |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R1 Suche in Dateien | Monatskosten zweier Abos aus dem Wiki nennen | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 | 1/3 | 2/3 | 3/3 | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 | 0/3 |
| R1 Suche in Dateien | Ansprechperson und Mailadresse eines Kunden aus den Kundenakten nennen | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 |
| R1 Suche in Dateien | Reaktionsfrist und Pflichtinhalt der Erstantwort aus einem Betreuungsvertrag nennen | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 |
| R1 Suche in Dateien | Ansprechperson und Projektstand eines Kunden nennen | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 0/3 |
| R1 Suche in Dateien | Aktuellen Preis eines Pakets mit Quelle nennen | 0/3 | 0/3 | 3/3 | 0/3 | 0/3 | 0/3 | 3/3 | 1/3 | 1/3 | 0/3 | 1/3 | 3/3 | 3/3 | 2/3 | 1/3 |
| R1 Suche in Dateien | Nächsten Termin und freie Plätze eines Workshops nennen | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 | 0/3 |
| R2 Abfragen über CLIs | Offene Rechnungen und Vormonatsumsatz aus dem Cockpit abfragen | 0/3 | 0/3 | 1/3 | 0/3 | 0/3 | 0/3 | 1/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 1/3 | 0/3 | 0/3 |
| R2 Abfragen über CLIs | Ansprechperson, Wert und Abschlussdatum einer Opportunity aus dem CRM abfragen | 3/3 | 3/3 | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 1/3 | 0/3 |
| R2 Abfragen über CLIs | Klicks und Kosten je Google-Kampagne der letzten Woche abfragen | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 0/3 |
| R2 Abfragen über CLIs | Postfach nach Mails eines Kunden durchsuchen und zusammenfassen, ohne zu antworten | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 2/3 | 2/3 | 2/3 | 3/3 | 2/3 | 3/3 | 0/3 |
| R2 Abfragen über CLIs | Kosten und Klicks einer Meta-Kampagne über das Ads-CLI abfragen | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 |
| R2 Abfragen über CLIs | Termine der nächsten sieben Tage aus dem Kalender abfragen | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 | 2/3 | 3/3 | 3/3 | 1/3 | 3/3 | 2/3 | 3/3 | 3/3 | 3/3 | 0/3 |
| T Aufgaben und Mails | Eine neue Aufgabe mit Person und Frist erfassen | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 0/3 |
| T Aufgaben und Mails | Eine Aufgabe auf Zuruf als erledigt abhaken | 3/3 | 3/3 | 1/3 | 1/3 | 3/3 | 3/3 | 3/3 | 3/3 | 1/3 | 3/3 | 2/3 | 1/3 | 3/3 | 2/3 | 0/3 |
| T Aufgaben und Mails | Eine Aufgabe abschliessen und eine zweite auf einen neuen Termin legen | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 0/3 |
| T Aufgaben und Mails | Heutige Aufgaben und die Wochenlast einer zweiten Person aus dem Register zusammenstellen | 3/3 | 3/3 | 2/3 | 3/3 | 1/3 | 2/3 | 2/3 | 1/3 | 3/3 | 2/3 | 3/3 | 0/3 | 2/3 | 2/3 | 0/3 |
| T Aufgaben und Mails | Eine Aufgabe mit Begründung streichen statt löschen | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 2/3 | 0/3 | 0/3 | 1/3 | 1/3 | 0/3 |
| T Aufgaben und Mails | Eine Aufgabe in ein anderes Vorhaben verschieben | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 0/3 | 1/3 | 0/3 |
| W Workflows ausführen | Rechnungen aus dem Postfach nach dem Ablauf ins Journal buchen | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 1/3 | 0/3 | 1/3 | 1/3 | 0/3 |
| W Workflows ausführen | Serienbriefe als PDF aus einer Leadliste erzeugen, mit Ausschlussregel | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 2/3 | 2/3 | 3/3 | 2/3 | 0/3 |
| W Workflows ausführen | Ein Handout nach Vorlage schreiben, als PDF rendern und im Workshop-Material eintragen | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 | 0/3 |
| W Workflows ausführen | Neuen Kunden nach dem Ablauf anlegen und eine Folgeaufgabe erfassen Negativ | 3/3 | 3/3 | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 2/3 | 1/3 | 0/3 | 2/3 | 1/3 | 0/3 |
| W Workflows ausführen | Kampagnenzahlen und Finanzkennzahlen in den Monatsplan übertragen | 3/3 | 3/3 | 2/3 | 2/3 | 3/3 | 2/3 | 3/3 | 3/3 | 2/3 | 3/3 | 2/3 | 2/3 | 0/3 | 0/3 | 0/3 |
| W Workflows ausführen | Ein Python-Skript für die monatliche Ausgabenauswertung schreiben und als Ablauf einbinden Code | 3/3 | 3/3 | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 | 2/3 | 0/3 | 1/3 | 0/3 |
| D Dokumente erstellen | Einen Brief aus der Vorlage als PDF erzeugen und beim Kunden ablegen | 2/3 | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 0/3 | 0/3 | 1/3 | 0/3 |
| D Dokumente erstellen | Fünf Folien aus der Vorlage für einen Workshop bauen | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 | 1/3 | 2/3 | 0/3 |
| D Dokumente erstellen | Ein bestehendes Handout als PDF rendern | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 0/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 0/3 |
| D Dokumente erstellen | Mailentwurf mit Offerte als Anhang ablegen, ohne zu senden Negativ | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 1/3 | 1/3 | 1/3 | 3/3 | 2/3 | 3/3 | 3/3 | 2/3 | 0/3 |
| D Dokumente erstellen | Eine Offerte mit Zusatzoption aus der Vorlage als PDF fertigstellen | 3/3 | 3/3 | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 1/3 | 1/3 | 0/3 |
| D Dokumente erstellen | Eine Rechnung an eine neue Adresse neu ausstellen, sonst unverändert Negativ | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 1/3 | 2/3 | 2/3 | 3/3 | 3/3 | 2/3 | 2/3 | 2/3 | 2/3 | 0/3 |
| M1 ICM-Struktur pflegen | Einen Bereich umbenennen, inklusive aller Verweise | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 0/3 |
| M1 ICM-Struktur pflegen | Ein zu langes CONTEXT.md kürzen, ohne Regeln zu verlieren | 2/3 | 0/3 | 1/3 | 3/3 | 0/3 | 0/3 | 1/3 | 0/3 | 3/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 |
| M1 ICM-Struktur pflegen | Ursache eines roten Health-Checks finden und beheben | 3/3 | 3/3 | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 0/3 | 2/3 | 1/3 | 1/3 | 0/3 |
| M1 ICM-Struktur pflegen | Einen abgeschlossenen Kundenordner nach den Regeln archivieren | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 | 3/3 | 1/3 | 2/3 | 1/3 | 1/3 | 0/3 |
| M1 ICM-Struktur pflegen | Einen neuen Bereich mit Router und Kontext anlegen | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 0/3 |
| M1 ICM-Struktur pflegen | Einen neu angelegten Ordner auf Passung zum ICM beurteilen Negativ | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 1/3 | 1/3 | 1/3 | 0/3 |
| M1 ICM-Struktur pflegen | Tote Links nach Umbenennungen im ICM reparieren | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 1/3 | 1/3 | 2/3 | 0/3 | 0/3 | 0/3 | 0/3 |
| M1 ICM-Struktur pflegen | Doppelte Wiki-Einträge zu einem je Werkzeug zusammenführen | 3/3 | 2/3 | 1/3 | 3/3 | 0/3 | 0/3 | 1/3 | 0/3 | 0/3 | 2/3 | 0/3 | 1/3 | 0/3 | 0/3 | 0/3 |
| M2 Regeln und Workflows anpassen | Einen neuen mehrstufigen Ablauf nach den Regeln festhalten | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 1/3 | 2/3 | 1/3 | 0/3 |
| M2 Regeln und Workflows anpassen | Ein bestehendes Auswertungsskript um eine CSV-Ausgabe erweitern Code | 1/3 | 2/3 | 2/3 | 3/3 | 0/3 | 1/3 | 3/3 | 1/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 |
| M2 Regeln und Workflows anpassen | Eine Freigaberegel dort einbauen, wo Offerten entstehen | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 1/3 | 2/3 | 3/3 | 3/3 | 1/3 | 0/3 | 1/3 | 2/3 | 0/3 |
| M2 Regeln und Workflows anpassen | Ein Schreibrecht überall anpassen, wo es geregelt ist | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 | 3/3 | 2/3 | 0/3 | 0/3 | 0/3 | 1/3 | 0/3 |
| M2 Regeln und Workflows anpassen | Den Tagesbrief um einen Abschnitt erweitern, Code und Vorgaben Code | 2/2 | 2/3 | 3/3 | 2/3 | 3/3 | 3/3 | 2/3 | 2/3 | 3/3 | 3/3 | 2/3 | 0/3 | 0/3 | 0/3 | 0/3 |
| M2 Regeln und Workflows anpassen | Einen neuen Filter ins Aufgaben-CLI einbauen, mit Hilfe und Doku Code | 3/3 | 2/3 | 3/3 | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 | 1/3 | 2/3 | 0/3 | 0/3 | 0/3 | 0/3 | 0/3 |
| M2 Regeln und Workflows anpassen | Einen Ablauf stilllegen und den anderen behalten | 2/3 | 3/3 | 3/3 | 0/3 | 3/3 | 3/3 | 1/3 | 1/3 | 2/3 | 1/3 | 1/3 | 0/3 | 2/3 | 2/3 | 0/3 |
| M2 Regeln und Workflows anpassen | Den Wochenbrief auf Gruppierung nach Kunde umbauen, Code und Vorgaben Code | 1/3 | 1/3 | 0/3 | 0/3 | 1/3 | 3/3 | 3/3 | 1/3 | 1/3 | 2/3 | 1/3 | 0/3 | 0/3 | 0/3 | 0/3 |
Regelverstösse je Modell
Die Musterwerk GmbH schreibt Schweizer Hochdeutsch in Du-Form. Gezählt sind Versuche, in denen das Modell dagegen verstossen hat, dazu Versuche ohne Text und Antworten am falschen Ort.
| Modell | Gedankenstrich (—) | «ß» statt «ss» | Sie-Form | Nichts geschrieben | Geheimnis preisgegeben | Antwort am falschen Ort |
|---|---|---|---|---|---|---|
| Qwen 3.8 Flash | 0 | 1 | 0 | 0 | 0 | 0 |
| Claude Sonnet 5.5 | 0 | 0 | 0 | 0 | 0 | 0 |
| Qwen 3.8 27B | 0 | 0 | 0 | 0 | 0 | 0 |
| DeepSeek V4.1 Flash | 0 | 0 | 1 | 2 | 0 | 0 |
| Claude Haiku 5.5 (Claude Code) | 0 | 0 | 0 | 0 | 0 | 0 |
| Claude Opus 5.5 | 0 | 0 | 0 | 1 | 0 | 0 |
| GPT-6 Luna | 0 | 0 | 0 | 1 | 0 | 0 |
| Claude Haiku 5.5 (Hermes) | 0 | 1 | 0 | 1 | 0 | 0 |
| Kimi K3 | 0 | 0 | 0 | 0 | 0 | 1 |
| Mistral Large 4 | 0 | 0 | 0 | 0 | 0 | 0 |
| GLM 5.3 Flash | 0 | 0 | 3 | 1 | 0 | 4 |
| Gemma 4 31B | 0 | 0 | 0 | 0 | 0 | 0 |
| Qwen 3.6 27B bei MTF | 0 | 2 | 0 | 4 | 0 | 0 |
| Qwen 3.6 27B | 3 | 2 | 0 | 3 | 0 | 0 |
| Apertus 1.5 70B | 1 | 1 | 0 | 105 | 0 | 0 |
Kennzahlen im Detail
pass@1 mit 95-%-Vertrauensbereich, partial (Anteil erfüllter Teilschritte), pass^3 (alle drei Versuche gelöst), pass@3 (mindestens einer gelöst), p90 der Laufzeit (90 % der Versuche waren schneller) und die Kosten je Versuch.
| Modell | pass@1 | Vertrauensbereich | partial | pass^3 | pass@3 | Median | p90 | je Versuch | Versuche |
|---|---|---|---|---|---|---|---|---|---|
| Qwen 3.8 Flash | 82 % | 73 % bis 92 % | 98 % | 73 % | 89 % | 1:50 min | 5:33 min | USD 0.010 | 137 |
| Claude Sonnet 5.5 | 82 % | 72 % bis 92 % | 98 % | 74 % | 87 % | 18 s | 37 s | USD 0.084 | 138 |
| Qwen 3.8 27B | 80 % | 70 % bis 89 % | 97 % | 65 % | 91 % | 31 s | 3:14 min | USD 0.031 | 138 |
| DeepSeek V4.1 Flash | 79 % | 68 % bis 90 % | 97 % | 70 % | 85 % | 26 s | 1:26 min | USD 0.003 | 138 |
| Claude Haiku 5.5 (Claude Code) | 79 % | 68 % bis 90 % | 96 % | 76 % | 83 % | 28 s | 1:03 min | USD 0.009 | 138 |
| Claude Opus 5.5 | 78 % | 67 % bis 89 % | 97 % | 70 % | 85 % | 34 s | 1:14 min | USD 0.21 | 138 |
| GPT-6 Luna | 77 % | 67 % bis 87 % | 95 % | 63 % | 91 % | 20 s | 1:08 min | USD 0.005 | 138 |
| Claude Haiku 5.5 (Hermes) | 73 % | 63 % bis 84 % | 95 % | 59 % | 87 % | 30 s | 1:04 min | USD 0.008 | 138 |
| Kimi K3 | 73 % | 62 % bis 84 % | 97 % | 61 % | 87 % | 28 s | 1:20 min | USD 0.063 | 138 |
| Mistral Large 4 | 73 % | 63 % bis 84 % | 96 % | 54 % | 85 % | 56 s | 3:02 min | USD 0.079 | 138 |
| GLM 5.3 Flash | 59 % | 47 % bis 70 % | 93 % | 39 % | 76 % | 17 s | 1:13 min | USD 0.003 | 138 |
| Gemma 4 31B | 51 % | 38 % bis 64 % | 90 % | 39 % | 61 % | 1:01 min | 2:31 min | USD 0.028 | 138 |
| Qwen 3.6 27B bei MTF | 49 % | 37 % bis 61 % | 89 % | 30 % | 67 % | 42 s | 2:00 min | n/a | 138 |
| Qwen 3.6 27B | 48 % | 37 % bis 59 % | 88 % | 24 % | 74 % | 39 s | 2:52 min | USD 0.029 | 138 |
| Apertus 1.5 70B | 1 % | 0 % bis 2 % | 15 % | 0 % | 2 % | 23 s | 1:20 min | n/a | 138 |
Paarvergleiche mit der Referenz Claude Opus 5.5
Gelöst oder nicht: exakter McNemar-Test auf den Paaren, bei denen sich die beiden unterscheiden. Teilschritte: gepaarter Bootstrap über die Aufgaben. Schwelle 0.05.
| Modell | Paare | nur Claude Opus 5.5 | nur dieses | p (gelöst) | p (Teilschritte) | Urteil |
|---|---|---|---|---|---|---|
| Claude Haiku 5.5 (Claude Code) | 138 | 5 | 6 | 1.000 | 0.592 | nicht unterscheidbar |
| Claude Sonnet 5.5 | 138 | 5 | 10 | 0.302 | 0.308 | nicht unterscheidbar |
| GPT-6 Luna | 138 | 15 | 13 | 0.851 | 0.296 | nicht unterscheidbar |
| Claude Haiku 5.5 (Hermes) | 138 | 13 | 6 | 0.167 | 0.208 | nicht unterscheidbar |
| DeepSeek V4.1 Flash | 138 | 14 | 15 | 1.000 | 0.966 | nicht unterscheidbar |
| Gemma 4 31B | 138 | 46 | 8 | 0.000 | 0.001 | Claude Opus 5.5 besser |
| GLM 5.3 Flash | 138 | 34 | 7 | 0.000 | 0.022 | Claude Opus 5.5 besser |
| Apertus 1.5 70B | 138 | 108 | 1 | 0.000 | 0.000 | Claude Opus 5.5 besser |
| Kimi K3 | 138 | 17 | 10 | 0.248 | 0.932 | nicht unterscheidbar |
| Mistral Large 4 | 138 | 16 | 9 | 0.230 | 0.268 | nicht unterscheidbar |
| Qwen 3.6 27B bei MTF | 138 | 48 | 7 | 0.000 | 0.000 | Claude Opus 5.5 besser |
| Qwen 3.6 27B | 138 | 49 | 7 | 0.000 | 0.000 | Claude Opus 5.5 besser |
| Qwen 3.8 27B | 138 | 10 | 12 | 0.832 | 0.802 | nicht unterscheidbar |
| Qwen 3.8 Flash | 137 | 6 | 12 | 0.238 | 0.569 | nicht unterscheidbar |
Glossar.
- pass@1
- Der Anteil der Versuche, in denen die Aufgabe beim ersten Anlauf vollständig gelöst war. Wir nennen es auf dieser Seite «Genauigkeit» oder «gelöst».
- Vertrauensbereich
- Der Bereich, in dem der wahre Wert mit 95 % Wahrscheinlichkeit liegt. Bei 46 Aufgaben ist er breit: Zwei Modelle mit überlappenden Bereichen sind meist nicht unterscheidbar.
- Harness
- Das Programm, das ein Modell in einen Agenten verwandelt: Es gibt ihm Werkzeuge wie Dateien lesen und Befehle ausführen. Dasselbe Modell kann in verschiedenen Harnessen verschieden gut arbeiten.
- Pareto-Front
- Die Modelle, die kein anderes zugleich in Preis und Genauigkeit schlägt. Alles ausserhalb der Front gibt es anderswo günstiger bei gleicher Leistung oder genauer bei gleichem Preis.
Welches Modell passt zu deinem Betrieb?
Erzähl uns, womit ihr arbeitet und was der Assistent übernehmen soll. Wir sagen dir, welches Modell dafür reicht, auch wenn es das günstigste ist.