medição aberta de agent skills
O Batuta é uma camada aberta de medição para Agent Skills: roteamento local, grupo de controle explícito e resultados públicos ligados à evidência bruta.
Benchmark local registrado na linha de base auditada 9fa7471 em 24 de agosto de 2026. São medidas com proveniência, não resultados do ecossistema nem garantias para o dispositivo atual.
Batuta Zero
Um binário Rust sem dependências indexa as skills instaladas e ordena as correspondências localmente com BM25. A camada de medição foi desenhada para funcionar também com outros roteadores. O silêncio é um resultado válido quando a correspondência é fraca.
Um holdout declarado mantém o roteador calado em uma parcela configurável dos turnos. Comparar desfechos com e sem sugestão é mais útil do que confundir correlação com ganho causal.
Rankings publicados exigem várias instalações e carregam contagens, contexto do modelo, versão do protocolo e viés declarado da amostra. Um ranking vazio é mais crível do que uma anedota bem apresentada.
código aberto · reproduzível
O repositório contém o protocolo, a bateria congelada, os schemas, a implementação e os comandos usados para reproduzir a linha de base medida.
LAB · phase 0
A fase zero publica agregados limitados de execuções confiáveis do LAB. Prompts, segredos, assinaturas, recibos e conteúdo dos projetos nunca aparecem aqui.