Como Ensinar Agentes LLM a Lembrar Contexto e Reproduzir Artigos Científicos

Recentemente encontrei o benchmark PaperGuru, onde os autores decidiram investigar um problema desagradável com agentes autônomos. As janelas de contexto em modelos modernos cresceram para um milhão de tokens. No entanto, tarefas de vários dias, onde um agente precisa explorar repositórios, ler dezenas de artigos e escrever código funcional, ainda falham.

Geralmente, tudo se resume à memória. Bancos de dados vetoriais encontram blocos de texto por similaridade de cosseno, mas perdem completamente as relações ao longo do tempo. Se um artigo foi atualizado ou uma biblioteca se tornou obsoleta, um RAG padrão alegremente misturará um fragmento desatualizado no prompt. No repositório PaperGuru-Benchmark, pesquisadores da equipe AutoTrustAI lançaram uma arquitetura de memória de longo prazo com consciência do ciclo de vida dos dados (Lifecycle-Aware Memory, ou LAM), junto com resultados de testes em benchmarks complexos.

O que há de errado com o RAG padrão

Quando um agente escreve uma grande revisão de literatura ou reproduz código de um artigo em PDF, a busca por embeddings planos tropeça em coisas básicas.

Primeiro, a informação fica desatualizada. Se um método foi refutado em um artigo mais recente, um banco de dados plano não sabe disso.

Segundo, a evidência necessária frequentemente não está no bloco que se parece com a consulta por palavras-chave, mas dois links longe no grafo de citações.

Terceiro, à medida que o arquivo cresce, os custos de busca aumentam e o agente começa a se afogar em ruído.

Os autores formularam quatro regras para trabalhar com memória:

1. Versionamento de conteúdo. O sistema rastreia edições, deprecações e retrações de artigos.
2. Relevância estrutural multi-salto. A busca atravessa o grafo de relacionamentos, não apenas similaridade vetorial.
3. Custo de consulta limitado com crescimento infinito do arquivo.
4. Rastreamento de evidências. Cada afirmação do agente está vinculada a uma fonte específica.

Arquitetura Capital Chunk Memory

Em vez de dividir o texto em blocos uniformes e despejá-los no Chroma ou Pinecone, a arquitetura PaperGuru divide a memória em duas camadas. A primeira camada é chamada de chunk heads. São cabeçalhos compactos com metadados para cada artefato, usados para roteamento rápido. A segunda camada, chunk contents, armazena texto bruto e é carregada preguiçosamente apenas quando realmente necessária.

O roteador depende de um grafo de artefatos temporal. O grafo mantém dois tipos de relacionamentos: estrutural (por exemplo, cites, implements, benchmarked-on) e causal (deprecated-by, retracted-by, superseded-by).

O pipeline de geração consiste em quatro etapas:

• Search: busca rápida por cabeçalhos de artefatos correspondentes no arquivo.
• Extract: extração dos fragmentos necessários e montagem dos chamados cards de evidência.
• Reason: um ciclo de geração e crítica onde o modelo rascunha e verifica a lógica.
• Verify: validação final com verificação de referência às fontes.

O que os testes mostram

Os autores testaram o sistema em dois benchmarks difíceis: PaperBench da OpenAI e SurveyBench.

PaperBench avalia a capacidade de um modelo de pegar um PDF de artigo de ML e escrever um repositório funcional com reprodução de experimentos. O baseline humano (um estudante de PhD em ML com orçamento de 48 horas) é 41%.

O PaperGuru mostrou um resultado médio de 66,05% em 23 artigos, superando todas as soluções baseline publicadas. O melhor resultado anterior de outros agentes era de 35,74%.

Em 19 dos 20 artigos com baselines conhecidos, a nova arquitetura de memória mostrou melhoria significativa. Por exemplo, na reprodução do artigo sobre classifier-free guidance, o resultado cresceu 68%. A única queda ocorreu na tarefa PINN (-4,47%), onde o baseline original usava heurísticas manuais específicas do domínio.

No SurveyBench, que avalia a qualidade da escrita de grandes revisões científicas, o sistema marcou 94,66% em qualidade de conteúdo sob um judge baseado em Claude Opus.

Vale a pena olhar a métrica de Riqueza. Ela não conta avaliações subjetivas de modelos de linguagem, mas a presença real de gráficos compilados, tabelas, código funcional e citações corretas no material gerado.

Aqui, o PaperGuru marcou 43,76%, enquanto metade das abordagens concorrentes marcou zero, gerando texto puro sem estrutura.

O que há no repositório

O repositório tem cerca de 350 MB e contém muitos materiais práticos:

• Infraestrutura completa de benchmark com pipelines de avaliação reproduzíveis
• Embeddings pré-computados e estruturas de grafo para todos os artigos do benchmark
• Implementações baseline dos componentes da arquitetura LAM
• Scripts de avaliação e ferramentas de visualização
• Submissões prontas para uso para todos os 23 artigos do PaperBench

Todos os gráficos do README podem ser reconstruídos localmente. A pasta assets/figures/ contém um arquivo data.json com todas as métricas e um script de build:

python scripts/rebuild_graphs.py

Quem deveria estudar este projeto

Se você está construindo sistemas de agentes que trabalham com grandes bases de código ou documentação técnica complexa, este repositório oferece excelente material para reflexão. A ideia de separar a memória em cabeçalhos leves e um grafo de relações causais facilmente se transfere para bases de conhecimento corporativas.

As submissões prontas na pasta PaperBench/submissions/ serão úteis para quem testa seus próprios pipelines de geração de código a partir de artigos. Lá você pode ver como estruturar a reprodução de pipelines de ML complexos, quando o modelo precisa gerar não apenas um único script, mas uma árvore de projeto funcional com dependências e testes.