Microsoft abre código de ferramenta para testar agentes de IA em programação

A Microsoft lançou o Scope, uma ferramenta de código aberto (licença MIT) para avaliar o desempenho de agentes de IA na programação — softwares que usam modelos de linguagem para escrever código de forma autônoma. O Scope executa a mesma tarefa através de diferentes agentes (como GitHub Copilot e Claude Code) e verifica se completam o trabalho com sucesso. Para isso, você define critérios de sucesso que formam uma árvore de dependências, e um serviço baseado em IA avalia cada tentativa. A ferramenta registra logs, arquivos gerados e chamadas de ferramentas, permitindo rastrear onde um agente falhou. Você pode ajustar configurações, repetir testes e comparar resultados.

O Scope não tem versão hospedada na nuvem — você precisa rodar localmente com Docker, Node 22, pnpm e outras dependências. O código está no GitHub, e equipes de documentação, mantenedores de bibliotecas e desenvolvedores de ferramentas de linha de comando podem usá-lo para identificar quando agentes tropeçam em tarefas recorrentes ou não reconhecem seus SDKs.