Recht und KI: Stichprobe
Lexassay stellt Sprachmodellen dieselben festen Rechtsaufgaben, ohne Werkzeuge und ohne Web, und veröffentlicht jede Antwort. Jede zitierte Norm und jedes Urteil wird an der Primärquelle geprüft; den Inhalt bewertet ein Abgleich mit der Goldlösung.
Stichprobe, keine Rechtsberatung. 15 feste Aufgaben, je Modell und Aufgabe eine Antwort, bewertet von KI-Agenten an Goldlösung und Primärquellen. Das ist eine dokumentierte Stichprobe, kein Benchmark im engen Sinn, und nichts hier ist Rechtsberatung.
15 Aufgaben, davon 5 geheim · je Modell und Effort der neueste Lauf
| # | Modell · Effort | Score (0–100) | Geheimer Teil | Alle Kriterien | Zitate | Hinweis „keine Rechtsberatung“ | Kosten, ganzer Lauf (Listenpreis) | Lauf |
|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 5.5 · medium | 79 (11,8 von 15 Aufgaben)88 (veröffentlichte Aufgaben) | 59 | 8/10 | 8420737 | 3/10 | ≈ 1,33 $* | Lauf 7 |
| 2 | Claude Opus 5.5 · high | 78 (11,7 von 15 Aufgaben)86 (veröffentlichte Aufgaben) | 62 | 7/10 | 9230742 | 4/10 | ≈ 1,80 $* | Lauf 5 |
| 3 | Claude Opus 5.5 · xhigh | 77 (11,5 von 15 Aufgaben)84 (veröffentlichte Aufgaben) | 63 | 6/10 | 10030535 | 4/10 | ≈ 4,27 $* | Lauf 7 |
| 4 | GPT-6 Astra · high | 72 (10,8 von 15 Aufgaben)80 (veröffentlichte Aufgaben) | 57 | 5/10 | 3901513 | 0/10 | ≈ 1,47 $* | Lauf 6 |
| 5 | GPT-6.1 Sol · high | 71 (10,6 von 15 Aufgaben)75 (veröffentlichte Aufgaben) | 62 | 5/10 | 4002512 | 0/10 | ≈ 0,37 $* | Lauf 5 |
| 6 | Claude Sonnet 5.5 · high | 69 (10,4 von 15 Aufgaben)72 (veröffentlichte Aufgaben) | 63 | 5/10 | 6250937 | 2/10 | ≈ 1,04 $* | Lauf 6 |
| 7 | GPT-6.1 Sol · xhigh | 68 (10,2 von 15 Aufgaben)74 (veröffentlichte Aufgaben) | 57 | 5/10 | 3912513 | 0/10 | ≈ 0,69 $* | Lauf 6 |
| 8 | Claude Sonnet 5.5 · medium | 68 (10,2 von 15 Aufgaben)77 (veröffentlichte Aufgaben) | 51 | 6/10 | 6240645 | 3/10 | ≈ 0,64 $* | Lauf 6 |
| 9 | GPT-6 Astra · xhigh | 68 (10,1 von 15 Aufgaben)73 (veröffentlichte Aufgaben) | 57 | 5/10 | 4120413 | 0/10 | ≈ 2,87 $* | Lauf 7 |
| 10 | Claude Sonnet 5.5 · low | 67 (10,1 von 15 Aufgaben)71 (veröffentlichte Aufgaben) | 60 | 5/10 | 7150632 | 2/10 | ≈ 0,56 $* | Lauf 7 |
| 11 | GPT-6.1 Sol · medium | 67 (10,0 von 15 Aufgaben)71 (veröffentlichte Aufgaben) | 57 | 5/10 | 3922613 | 0/10 | ≈ 0,24 $* | Lauf 7 |
| 12 | Claude Fable 5.1 · Standard | 59 (8,8 von 15 Aufgaben)65 (veröffentlichte Aufgaben) | 47 | 4/10 | 8690730 | 1/10 | ≈ 4,66 $* | Lauf 6 |
| 13 | GPT-6 Luna · high | 56 (8,4 von 15 Aufgaben)60 (veröffentlichte Aufgaben) | 48 | 2/10 | 2731513 | 1/10 | ≈ 0,0188 $* | Lauf 7 |
| 14 | Claude Fable 5.1 · high | 56 (8,3 von 15 Aufgaben)60 (veröffentlichte Aufgaben) | 46 | 3/10 | 98150823 | 1/10 | ≈ 4,67 $* | Lauf 7 |
| 15 | GPT-6.1 Terra · high | 55 (8,3 von 15 Aufgaben)55 (veröffentlichte Aufgaben) | 56 | 3/10 | 3071617 | 0/10 | ≈ 0,0887 $* | Lauf 6 |
| 16 | Gemini 4 Argon · Standard | 55 (8,2 von 15 Aufgaben)54 (veröffentlichte Aufgaben) | 56 | 2/10 | 4730726 | 1/10 | 0,22 $ | Lauf 5 |
| 17 | Claude Haiku 5.5 · Standard | 50 (7,5 von 15 Aufgaben)57 (veröffentlichte Aufgaben) | 36 | 3/10 | 7480634 | 5/10 | ≈ 0,0633 $* | Lauf 6 |
| 18 | Grok 4.7 · Standard | 49 (7,4 von 15 Aufgaben)53 (veröffentlichte Aufgaben) | 42 | 1/10 | 53120325 | 4/10 | 0,89 $ | Lauf 5 |
| 19 | GPT-6.1 Terra · xhigh | 45 (6,8 von 15 Aufgaben)40 (veröffentlichte Aufgaben) | 56 | 1/10 | 29101414 | 0/10 | ≈ 0,13 $* | Lauf 7 |
| 20 | Gemini 3.8 Flash · Standard | 45 (6,7 von 15 Aufgaben)43 (veröffentlichte Aufgaben) | 47 | 1/10 | 4380225 | 1/10 | 0,18 $ | Lauf 8 |
| 21 | Claude Haiku 5.5 · high | 41 (6,1 von 15 Aufgaben)52 (veröffentlichte Aufgaben) | 18 | 3/10 | 83140438 | 5/10 | ≈ 0,11 $* | Lauf 7 |
| 22 | DeepSeek V4.1 Flash 1017 · Standard | 35 (5,3 von 15 Aufgaben)39 (veröffentlichte Aufgaben) | 28 | 0/10 | 34130629 | 0/10 | 0,0981 $ | Lauf 8 |
| 23 | GPT-6 Luna · medium | 34 (5,1 von 15 Aufgaben)35 (veröffentlichte Aufgaben) | 32 | 0/10 | 18110510 | 1/10 | ≈ 0,0052 $* | Lauf 6 |
| 24 | Kimi K3.1 Pro · Standard | 34 (5,1 von 15 Aufgaben)35 (veröffentlichte Aufgaben) | 32 | 1/10 | 38173517 | 0/10 | 2,41 $ | Lauf 6 |
| 25 | DeepSeek V4.1 Flash · Standard | 31 (4,7 von 15 Aufgaben)30 (veröffentlichte Aufgaben) | 33 | 0/10 | 32150629 | 1/10 | 0,22 $ | Lauf 6 |
| 26 | GPT-6 Luna · low | 25 (3,7 von 15 Aufgaben)25 (veröffentlichte Aufgaben) | 24 | 0/10 | 22140411 | 0/10 | ≈ 0,0054 $* | Lauf 7 |
| 27 | DeepSeek V4 Pro 0813 · Standard | 20 (3,1 von 15 Aufgaben)25 (veröffentlichte Aufgaben) | 11 | 0/10 | 31112517 | 0/10 | 0,88 $ | Lauf 6 |
| 28 | DeepSeek V4 Flash 0731 · Standard | 18 (2,8 von 15 Aufgaben)13 (veröffentlichte Aufgaben) | 30 | 0/10 | 2381717 | 0/10 | 0,15 $ | Lauf 8 |
| 29 | Qwen3.8 Max Prime · Standard | 13 (1,9 von 15 Aufgaben)5 (veröffentlichte Aufgaben) | 29 | 0/10 | 42262634 | 1/10 | 10,19 $ | Lauf 6 |
| 30 | DeepSeek V4 Flash · Standardlokales Modell (keine API-Kosten) · 16k Kontext, nicht vergleichbar | 12 (1,7 von 15 Aufgaben)8 (veröffentlichte Aufgaben) | 18 | 0/10 | 2814129 | 0/7 | lokal, keine API-Kosten | Lauf 4 |
| 31 | Qwen3.8 Flash Next · Standardlokales Modell (keine API-Kosten) · 12k Kontext, nicht vergleichbar | 11 (1,6 von 15 Aufgaben)12 (veröffentlichte Aufgaben) | 9 | 0/10 | 30240315 | 2/10 | lokal, keine API-Kosten | Lauf 1 |
| 32 | Mistral Large 4.0 · Standard | 10 (1,5 von 15 Aufgaben)15 (veröffentlichte Aufgaben) | 0 | 0/10 | 50320528 | 2/10 | 0,82 $ | Lauf 6 |
| 33 | GLM 5.3 · Standard | 9 (1,3 von 15 Aufgaben)9 (veröffentlichte Aufgaben) | 9 | 0/10 | 41391518 | 3/10 | 2,29 $ | Lauf 8 |
| 34 | GLM-5.3 FlashX Legal · Standard | 8 (1,1 von 15 Aufgaben)11 (veröffentlichte Aufgaben) | 0 | 0/10 | 21251332 | 3/10 | 0,88 $ | Lauf 6 |
| 35 | GLM-5.3 Prime · Standard | 4 (0,7 von 15 Aufgaben)5 (veröffentlichte Aufgaben) | 4 | 0/10 | 16142211 | 4/10 | 8,15 $ | Lauf 6 |
| 36 | Gemma 4 26B A4B (QAT) · Standardlokales Modell (keine API-Kosten) | 3 (0,5 von 15 Aufgaben)5 (veröffentlichte Aufgaben) | 0 | 0/10 | 1923337 | 5/10 | lokal, keine API-Kosten | Lauf 2 |
| 37 | GLM-5.3 FlashX · Standard | 3 (0,5 von 15 Aufgaben)5 (veröffentlichte Aufgaben) | 0 | 0/10 | 416311231 | 2/10 | 0,46 $ | Lauf 6 |
| 38 | Minimax M3 · Standard | 1 (0,2 von 15 Aufgaben)2 (veröffentlichte Aufgaben) | 0 | 0/10 | 30340512 | 1/10 | 0,70 $ | Lauf 8 |
| 39 | Ornith 1.5 35B A3B · Standardlokales Modell (keine API-Kosten) | 1 (0,1 von 15 Aufgaben)1 (veröffentlichte Aufgaben) | 0 | 0/10 | 1542929 | 3/8 | lokal, keine API-Kosten | Lauf 3 |
| 40 | GLM 5.3 Flash · Standard | 0 (0,0 von 15 Aufgaben)0 (veröffentlichte Aufgaben) | 0 | 0/10 | 31510223 | 1/10 | 0,15 $ | Lauf 8 |
| 41 | Command A Plus · Standard | 0 (0 von 15 Aufgaben)0 (veröffentlichte Aufgaben) | 0 | 0/10 | 1641868 | 0/10 | 1,29 $ | Lauf 6 |
| 42 | Minimax M3.1 Flash · Standard | 0 (0 von 15 Aufgaben)0 (veröffentlichte Aufgaben) | 0 | 0/10 | 36761833 | 0/10 | 0,42 $ | Lauf 8 |
Seitlich wischen für alle Spalten.
Zitate: nechtnfalsch zugeordnetnerfundennnicht auffindbarnnicht automatisch prüfbar
Die Kosten sind die Kosten des ganzen Laufs zum Listenpreis (15 Aufgaben inkl. 5 geheimer); Kosten je Antwort stehen nur bei den veröffentlichten Aufgaben. Kosten dieses Laufs zum Listenpreis je Modell. * Geschätzte Kosten (API-Listenpreis, Stand 2026-11-03): Prompt-Token der Aufgabe × Eingabepreis + Ausgabe-Token × Ausgabepreis; die übrigen Werte sind die für diesen Lauf berechneten Kosten.
Score (0–100) = Anteil der erreichbaren Punkte. Jede Aufgabe wird an gewichteten Kriterien bewertet; falsch zugeordnete oder erfundene Zitate und ein fehlender Hinweis „keine Rechtsberatung“ werden abgezogen. „Geheimer Teil“: Score auf den unveröffentlichten Aufgaben. „Alle Kriterien“: Aufgaben mit allen Kriterien erfüllt und ohne Zitatabzug. Lokale Modelle laufen auf eigener Hardware; mit kleinem geladenem Kontext sind sie nicht vergleichbar. Methode
Seitlich wischen für die ganze Grafik.
OpenAIAnthropicGooglexAIDeepSeekAlibaba (Qwen)MoonshotMistralZ.aiCohereandereSpitzenwert
Seitlich wischen für die ganze Grafik.
OpenAIAnthropicGooglexAIDeepSeekAlibaba (Qwen)MoonshotMistralZ.aiCohereandereSpitzenwert
Seitlich wischen für die ganze Grafik.
≥ 8040–79< 40ungültig (Werkzeug)Score geheimer Teil
Seitlich wischen für die ganze Grafik.
echtfalsch zugeordneterfundennicht auffindbarungeprüftØ echt 49 %
Seitlich wischen für die ganze Grafik.
echtfalsch zugeordneterfundennicht auffindbarungeprüftØ echt 49 %
Seitlich wischen für die ganze Grafik.
OpenAIAnthropicGooglexAIDeepSeekAlibaba (Qwen)MoonshotMistralZ.aiCohereandere
| # | Modell | Effort | Score | Kosten | Quadrant |
|---|---|---|---|---|---|
| 1 | Claude Opus 5.5 | medium | 79 | 1,33 $ geschätzt | gut, aber teuer |
| 2 | Claude Opus 5.5 | high | 78 | 1,80 $ geschätzt | gut, aber teuer |
| 3 | Claude Opus 5.5 | xhigh | 77 | 4,27 $ geschätzt | gut, aber teuer |
| 4 | GPT-6 Astra | high | 72 | 1,47 $ geschätzt | gut, aber teuer |
| 5 | GPT-6.1 Sol | high | 71 | 0,37 $ geschätzt | gut und günstig |
| 6 | Claude Sonnet 5.5 | high | 69 | 1,04 $ geschätzt | gut, aber teuer |
| 7 | Claude Sonnet 5.5 | medium | 68 | 0,64 $ geschätzt | gut und günstig |
| 8 | GPT-6.1 Sol | xhigh | 68 | 0,69 $ geschätzt | gut, aber teuer |
| 9 | GPT-6 Astra | xhigh | 68 | 2,87 $ geschätzt | gut, aber teuer |
| 10 | GPT-6.1 Sol | medium | 67 | 0,24 $ geschätzt | gut und günstig |
| 11 | Claude Sonnet 5.5 | low | 67 | 0,56 $ geschätzt | gut und günstig |
| 12 | Claude Fable 5.1 | Standard | 59 | 4,66 $ geschätzt | gut, aber teuer |
| 13 | GPT-6 Luna | high | 56 | 0,019 $ geschätzt | gut und günstig |
| 14 | Claude Fable 5.1 | high | 56 | 4,67 $ geschätzt | gut, aber teuer |
| 15 | GPT-6.1 Terra | high | 55 | 0,089 $ geschätzt | gut und günstig |
| 16 | Gemini 4 Argon | Standard | 55 | 0,22 $ berechnet | gut und günstig |
| 17 | Claude Haiku 5.5 | Standard | 50 | 0,063 $ geschätzt | gut und günstig |
| 18 | Grok 4.7 | Standard | 49 | 0,89 $ berechnet | gut, aber teuer |
| 19 | GPT-6.1 Terra | xhigh | 45 | 0,13 $ geschätzt | gut und günstig |
| 20 | Gemini 3.8 Flash | Standard | 45 | 0,18 $ berechnet | gut und günstig |
| 21 | Claude Haiku 5.5 | high | 41 | 0,11 $ geschätzt | günstig, aber schwach |
| 22 | DeepSeek V4.1 Flash 1017 | Standard | 35 | 0,098 $ berechnet | günstig, aber schwach |
| 23 | GPT-6 Luna | medium | 34 | 0,005 $ geschätzt | günstig, aber schwach |
| 24 | Kimi K3.1 Pro | Standard | 34 | 2,41 $ berechnet | teuer und schwach |
| 25 | DeepSeek V4.1 Flash | Standard | 31 | 0,22 $ berechnet | günstig, aber schwach |
| 26 | GPT-6 Luna | low | 25 | 0,005 $ geschätzt | günstig, aber schwach |
| 27 | DeepSeek V4 Pro 0813 | Standard | 20 | 0,88 $ berechnet | teuer und schwach |
| 28 | DeepSeek V4 Flash 0731 | Standard | 18 | 0,15 $ berechnet | günstig, aber schwach |
| 29 | Qwen3.8 Max Prime | Standard | 13 | 10,19 $ berechnet | teuer und schwach |
| 30 | Mistral Large 4.0 | Standard | 10 | 0,82 $ berechnet | teuer und schwach |
| 31 | GLM 5.3 | Standard | 9 | 2,29 $ berechnet | teuer und schwach |
| 32 | GLM-5.3 FlashX Legal | Standard | 8 | 0,88 $ berechnet | teuer und schwach |
| 33 | GLM-5.3 Prime | Standard | 4 | 8,15 $ berechnet | teuer und schwach |
| 34 | GLM-5.3 FlashX | Standard | 3 | 0,46 $ berechnet | günstig, aber schwach |
| 35 | Minimax M3 | Standard | 1 | 0,70 $ berechnet | teuer und schwach |
| 36 | GLM 5.3 Flash | Standard | 0 | 0,15 $ berechnet | günstig, aber schwach |
| 37 | Minimax M3.1 Flash | Standard | 0 | 0,42 $ berechnet | günstig, aber schwach |
| 38 | Command A Plus | Standard | 0 | 1,29 $ berechnet | teuer und schwach |
Deutsches, US- und EU-Recht: Fristen, neue Rechtsänderungen, Leitentscheidungen und Fragen, die auf einem erfundenen Urteil aufbauen. Jede Aufgabe hat eine Goldlösung mit Primärquellen und gewichteten Kriterien; ein Teil der Aufgaben bleibt geheim.
Jedes Modell bekommt je Aufgabensatz denselben System-Prompt. Werkzeuge und Web sind abgeschaltet; eine Antwort, die trotzdem nach außen greift, ist ungültig.
Normen und Urteile in den Antworten werden mit amtlichen Datenbanken abgeglichen. Das Ergebnis zeigt, ob ein Zitat echt, falsch zugeordnet, erfunden oder nicht auffindbar ist.
Aufgabensatz v1 (archiviert). Aufgabensatz v2 ist schwerer und arbeitet mit Kriterien; seine Scores sind mit v1 nicht vergleichbar.