Harvey LABで現実の法務案件に対してリーガルAIエージェントをテストする方法

MMLUやHumanEvalのような標準ベンチマークは、モデルが基本的なコードを書いたり、テスト質問に答えたりできるかどうかを示すのに優れています。しかし、合併・買収取引の契約書のフォルダを分析するようにモデルに指示を出してみてください。突然、汎用テストでは、その分野の実際の複雑さを反映しなくなります。文書は数百ページに及ぶ可能性があり、契約条項の1つのエラーが企業に何百万もの費用をもたらす可能性があります。

HarveyはHarvey LABリポジトリをオープンソースとして公開しました。これは、リアル전한 法務タスクに対してAIエージェントを評価するためのフレームワークおよびテストデータセットです。

リポジトリの内容

このリポジトリには、2つの主要なコンポーネントが含まれています：法務タスクのオープンデータセットと、エージェントを実行するための実行環境です。

データは20以上の法務専門分野にまたがっています。データセットには16,671のタスクが含まれており、これらは単なるテキストプロンプトではなく本格的なシナリオです。各タスクには、ソースドキュメント、エージェントへの指示、評価基準が含まれています。

コードはPythonで書かれており、MITライセンスで公開されています。このレビュー時点では、プロジェクトはGitHubで666個程度のスターを獲得していますが、 активно開発が進められています。

アーキテクチャの動作仕組み

テストは単一のサイクルを中心に展開します。まず、テスト環境がタスクを読み込み、ドキュメントをエージェントに渡します。次に、エージェントがアクションを実行し、ツールを呼び出し、最終的な応答を生成します。最後に、システムが評価アルゴリズムを実行します。

システム全体はいくつかのコンポーネントに分かれています：

• ファイル、テキスト指示、コンテキスト、評価基準を保存するタスクモデル
• 分離された環境でエージェントを実行し、ツール呼び出しを傍受し、トークンをカウントし、アクションをログに記録する実行環境
• 異なるモデルとエージェントフレームワークを接続するためのアダプター
• メトリクスを収集し、実行の比較ダッシュボードを構築するレポートモジュール

評価の仕組み

法務業務には特殊性があります。残りの20%にペナルティ制裁に関する歪んだ情報が含まれている場合、80%正しい回答が合格とみなされることはめったにありません。

Harvey LABはAll-Pass Rubricアプローチを使用しています。エージェントが評価基準から абсолютноすべての必須条件を完全に満たした場合にのみ、応答は合格となります。1つの詳細でも見逃された場合、タスク全体が不合格とみなされます。

複雑なテキスト評価には、LLMジャッジが使用されます。著者は、ジャッジのバイアスを軽減し、文章スタイルではなく指定された基準を厳密に遵守させるルールを組み込んでいます。

M&A監査の実用的な例

プロジェクトドキュメントには、M&A取引の仮想データルーム監査を例とした段階的なガイドが含まれています。

このシナリオは現実的です。エージェントは企業文書の束、リース契約、顧客契約書を受け取ります。そのタスクは、支配権変更リスク、、契約条件の不整合、隠れた義務を特定することです。

まず、タスク検査コマンドを実行して、ファイルと評価ルールを確認します。次に、エージェント自体が実行され、文書読取と検索ツールにアクセスできるようになります。作業が完了すると、フレームワークはエージェントの結論を参照ルーブリックと比較し、詳細なレポートを生成します。出力はダッシュボードで、モデルが複雑な法務条件の検索をどの程度処理するかを示す内訳が表示されます。

このプロジェクトのターゲット層

弁護士向けのRAGシステムやエージェントサービスを構築している場合、このリポジトリは合成テストを作成する必要性をなくしてくれます。モデルが幻覚を起こす箇所と、文脈을 真に理解している箇所をすぐに示す、実際の案例 готовыйセットが得られます。

このプロジェクトは、狭い領域でのLLMの動作を探索する人々にも便利です。異なるプロンプト戦略、文書のチャンキング方法、ツール呼び出しアプローチをテストするのに便利です。

欠点としては、プロジェクトの新規性が挙げられます。一部のドキュメントはまだ完成途中であり、すべての16,671タスクを実行するにはフロンティアモデルに対して相当なAPIコストが必要です。デバッグには、個別のテストサブセットを実行する方が実用的です。

試してみる場合は、docs/tutorial.mdのガイドから始めてください。環境設定から最終ダッシュボードの分析まで、全プロセスを説明します。