LEXASSAY

Methode

Methode und Grenzen

Wie die Aufgaben gestellt, Antworten und Zitate geprüft und bewertet werden, und was die Zahlen nicht aussagen. Diese Seite beschreibt Aufgabensatz v2; Aufgabensatz v1 ist archiviert.

Aufgaben (v2)

  • Ein fester Aufgabensatz zu deutschem, US- und EU-Recht: mehrstufige Fristberechnungen, neue Rechtsänderungen, Leitentscheidungen, grenzüberschreitende Fragen und Fragen, die auf einem erfundenen Urteil aufbauen. Jede Aufgabe hat eine Goldlösung mit Primärquellen (mit Abrufdatum) und 3–6 gewichtete Kriterien.
  • Geheimer Teil: Ein Teil der Aufgaben bleibt unveröffentlicht, damit künftige Modelle die Lösungen nicht aus dem Netz lernen. Dafür wird nur der Score je Modell veröffentlicht — kein Prompt, keine Goldlösung, kein Antworttext, keine Kriterien.

Wie die Modelle laufen

  • Derselbe feste System-Prompt für alle Modelle, eine Antwort je Aufgabe, keine Nachfrage.
  • Ohne Internet, ohne Werkzeuge. Die Modelle wurden ohne Internetzugang und ohne Werkzeuge aufgerufen. Die Aufrufe werden geprüft; jeder Aufruf nach außen macht die Antwort ungültig („ungültig“), ungültige Antworten werden nicht veröffentlicht.
  • Jede Zeile nennt das Modell und seinen Effort (Denk-Einstellung; „Standard“ heißt Modell-Standard).
  • Budget-Regel: Das Standard-Budget für die Ausgabe beträgt 64.000 Token (nie mehr, als das Modell zulässt). Eine Antwort, die an der Token-Grenze abbricht, erhält 0 Punkte. Für Antworten, die an einer früheren, kleineren Grenze abbrachen, zählt ein Nachlauf mit 64.000 Token; Modelle mit Denk-Budget bekommen genau einen zweiten Versuch mit gleichem Budget und auf 75 % begrenztem Denken. Die Laufseiten nennen, wie viele Antworten das betrifft.
  • Lokale Modelle laufen auf eigener Hardware und haben keine API-Kosten. Ihr Budget ist durch den geladenen Kontext begrenzt; ist er klein (etwa 8k), steht beim Ergebnis „nicht vergleichbar“.
  • Kosten sind der Listenpreis des Laufs je Modell. Wurde für den Lauf ein Betrag berechnet, steht dieser da. Sonst sind sie aus den Token zum API-Listenpreis geschätzt (markiert mit *): Prompt-Token der Aufgabe × Eingabepreis + Ausgabe-Token (mit Denken) × Ausgabepreis; die Prompt-Token sind an Läufen ohne zusätzlichen Rahmen-Prompt gemessen.

Bewertung (v2)

  • Kriterien: Jede Aufgabe hat 3–6 atomare Kriterien mit Gewicht; jedes ist erfüllt oder nicht erfüllt. Ein Kriterium zählt nur, wenn Ergebnis und tragende Fundstelle stimmen, wie im Kriterium verlangt.
  • Präzisionsregel: weniger genau, aber nicht falsch gilt als erfüllt (etwa ein Paragraf ohne Satz); eine falsche Angabe nicht. Vorbehaltsregel: Eine richtige Antwort mit Vorbehalt („soweit mir bekannt“) zählt; zwei Rechtslagen nebeneinander ohne Entscheidung zählen nicht.
  • Zitatabzug: −25 % der Aufgabenpunkte je Zitat mit Endstatus „falsch zugeordnet“ (existiert, trägt die Aussage aber nicht) oder „erfunden“ (existiert nicht). Dasselbe Zitat zählt einmal; „nicht auffindbar“ und „ungeprüft“ kosten nichts. Ein Abzug braucht einen Beleg: Ein Fehler, den nur der automatische Abgleich meldet, wird an einer zweiten Quelle bestätigt.
  • Hinweis: −5 %, wenn die Antwort weder einen ausdrücklichen Hinweis „keine Rechtsberatung“ noch die ausdrückliche Empfehlung enthält, eine Fachperson hinzuzuziehen. Eine bloße Bitte, die Fundstellen zu prüfen, zählt nicht.
  • Aufgabenpunkte = max(0, gewichteter Anteil erfüllter Kriterien − Abzüge). Score = Anteil der erreichbaren Punkte, 0–100 (Summe der Aufgabenpunkte ÷ Zahl der Aufgaben × 100, kaufmännisch gerundet). „Alle Kriterien“ zählt Aufgaben mit allen Kriterien erfüllt und ohne Zitatabzug.
  • Blindbewertung durch mehrere Bewerter: v2-Antworten werden blind von mehreren Claude-Agenten (Modelle von Anthropic) bewertet, jeder für einen Teil der Aufgaben, mit danach einheitlich angewandten Regeln. Die Bewerter sehen anonymisierte Antworten, Goldlösung, Kriterien und Zitattabelle. Interessenkonflikt, offen genannt: Sind Claude-Modelle unter den bewerteten Antworten, haben Claude-Bewerter einen Interessenkonflikt; der Schreibstil kann ein Modell trotzdem verraten.
  • Jeder Lauf wird von der Redaktion geprüft, bevor er hier erscheint.

Zitatprüfung

  • Deutsche Normen werden an gesetze-im-internet.de geprüft, deutsche Urteile und Fundstellen an dejure.org, US-Fälle an CourtListener (Fundstelle ↔ Fallname), U.S. Code und Federal Rules an law.cornell.edu.
  • echt: das Zitat existiert und passt; falsch zugeordnet: es existiert, sagt oder entscheidet aber nicht, was die Antwort behauptet; erfunden: es existiert nicht; nicht auffindbar: kein eindeutiger Treffer, nicht zwingend erfunden; ungeprüft: keine automatische Quelle (etwa US-Landesrecht, Teile des EU-Rechts, US-Fälle ohne Fundstelle).
  • Die Automatik prüft Existenz und Zuordnung, nicht den Gegenstand. Handbefunde gehen vor und sind mit „Hand“ markiert.

Aufgabensatz v1 (archiviert)

Der erste Aufgabensatz hatte vier Aufgaben mit der Bewertung richtig (1) / teilweise (½) / falsch (0); bei der Fangfrage zählte das Erkennen der erfundenen Prämisse. Seine Läufe bleiben abrufbar. Aufgabensatz v2 ist schwerer und arbeitet mit Kriterien und Abzügen; die Scores von v1 und v2 sind nicht vergleichbar.

Grenzen

  • Kleine Stichprobe: eine Antwort je Modell und Aufgabe. Ergebnisse können sich zwischen Läufen und Modellfassungen ändern.
  • Kein Benchmark im engen Sinn und keine Rechtsberatung. Verlassen Sie sich bei einer rechtlichen Entscheidung auf keine der hier gezeigten Antworten.
  • Die Bewertung durch KI-Agenten kann irren. Für die öffentlichen Aufgaben sind jede Antwort, die Goldlösung, die Kriterien und die Zitattabelle veröffentlicht, damit jede Bewertung nachprüfbar ist.

Korrekturen und Gegendarstellung

Hersteller und Leser, die einen Fehler finden, schreiben an contact@lexassay.com. Bitte Lauf, Aufgabe und Modell nennen. Wir prüfen jede Meldung und korrigieren veröffentlichte Ergebnisse mit sichtbarem Hinweis.