So testen Sie Legal-AI-Agenten an realen Fällen mit Harvey LAB

Standard-Benchmarks wie MMLU oder HumanEval eignen sich hervorragend, um zu zeigen, ob ein Modell einfachen Code schreiben oder Testfragen beantworten kann. Aber versuchen Sie einmal, einem solchen Modell die Analyse eines Ordners mit Verträgen für ein M&A-Geschäft zuzuweisen. Plötzlich spiegeln allgemeine Tests nicht mehr die tatsächliche Komplexität des Fachgebiets wider. Dokumente können Hunderte von Seiten umfassen, und ein einziger fehlerhafter Vertragsklausel kann ein Unternehmen Millionen kosten.

Harvey hat das Harvey-LAB-Repository als Open Source veröffentlicht. Es ist ein Framework und Testdatensatz zur Bewertung von KI-Agenten bei realen Rechtsaufgaben.

Was sich im Repository befindet

Das Repository enthält zwei Hauptkomponenten: einen offenen Datensatz mit Rechtsaufgaben und eine Ausführungsumgebung zum Ausführen von Agenten.

Die Daten umfassen über zwei Dutzend Rechtsgebiete. Der Datensatz enthält 16.671 Aufgaben, und das sind nicht nur Textprompts – es sind vollständige Szenarien. Jede Aufgabe enthält Quelldokumente, Agent-Anweisungen und Bewertungskriterien.

Der Code ist in Python geschrieben und unter der MIT-Lizenz veröffentlicht. Zum Zeitpunkt dieser Rezension hat das Projekt etwa 666 Sterne auf GitHub, wird aber aktiv weiterentwickelt.

So funktioniert die Architektur

Das Testen dreht sich um einen einzigen Zyklus. Zuerst lädt die Testumgebung die Aufgabe und übergibt Dokumente an den Agenten. Dann führt der Agent Aktionen aus, ruft Tools auf und erstellt eine abschließende Antwort. Am Ende führt das System Bewertungsalgorithmen aus.

Das gesamte System ist in mehrere Komponenten unterteilt:

• Task-Modell, das Dateien, Textanweisungen, Kontext und Bewertungsrubriken speichert.
• Ausführungsumgebung, die Agenten in einer isolierten Umgebung ausführt, Tool-Aufrufe abfängt, Tokens zählt und Aktionen protokolliert.
• Adapter zum Verbinden verschiedener Modelle und Agent-Frameworks.
• Reporting-Modul, das Metriken sammelt und comparative Dashboards für Testläufe erstellt.

So funktioniert die Bewertung

Rechtsarbeit ist spezifisch. Hier ist es selten, dass 80% einer richtigen Antwort als bestanden gelten, wenn die verbleibenden 20% verzerrte Informationen über Strafsanktionen enthalten.

Harvey LAB verwendet den All-Pass-Rubric-Ansatz. Eine Antwort besteht nur, wenn der Agent absolut alle obligatorischen Bedingungen aus der Bewertungsrubrik erfüllt hat. Wenn auch nur ein Detail übersehen wird, gilt die gesamte Aufgabe als nicht bestanden.

Für komplexe Textbewertungen wird ein LLM-Judge verwendet. Die Autoren haben Regeln eingebaut, die die Verzerrung des Judges reduzieren und ihn zwingen, sich strikt an die gegebenen Kriterien zu halten, anstatt den Schreibstil zu bewerten.

Praktisches Beispiel mit M&A-Audit

Die Projektdokumentation enthält eine Schritt-für-Schritt-Anleitung am Beispiel eines virtuellen Datenraums für ein M&A-Geschäft.

Das Szenario wirkt realistisch. Der Agent erhält ein Paket aus Unternehmensdokumenten, Mietverträgen und Kundenverträgen. Seine Aufgabe ist es, Change-of-Control-Risiken, Unstimmigkeiten in Vertragsbedingungen und versteckte Verpflichtungen zu identifizieren.

Zuerst führen Sie den Befehl zur Aufgabeninspektion aus, um die Dateien und Bewertungsregeln anzuzeigen. Dann wird der Agent selbst ausgeführt und erhält Zugriff auf Dokumentenles- und Suchtools. Nach Abschluss der Arbeit vergleicht das Framework die Schlussfolgerungen des Agenten mit der Referenzrubrik und erstellt einen detaillierten Bericht. Die Ausgabe ist ein Dashboard mit Aufschlüsselungen, die zeigen, ob das Modell die Suche nach komplexen rechtlichen Bedingungen bewältigt.

Für wen das Projekt gedacht ist

Wenn Sie ein RAG-System oder einen Agent-Service für Anwälte entwickeln, erspart Ihnen dieses Repository die Erstellung synthetischer Tests. Sie erhalten einen gebrauchsfertigen Satz realer Fälle, die sofort zeigen, wo das Modell halluziniert und wo es den Kontext wirklich versteht.

Das Projekt ist auch für diejenigen nützlich, die das Verhalten von LLMs in eng begrenzten Bereichen untersuchen. Es eignet sich zum Testen verschiedener Prompting-Strategien, Document-Chunking-Methoden und Tool-Calling-Ansätze.

Zu den Nachteilen gehört die Neuheit des Projekts. Einige Dokumentationen werden noch vervollständigt, und das Ausführen aller 16.671 Aufgaben erfordert ein erhebliches API-Budget für Frontier-Modelle. Zum Debuggen ist es praktischer, einzelne Test-Teilmengen auszuführen.

Wenn Sie es ausprobieren möchten, beginnen Sie mit der Anleitung unter docs/tutorial.md. Sie führt durch den gesamten Prozess von der Einrichtung der Umgebung bis zur Analyse des finalen Dashboards.