camada aberta de medição de agent skills
Todo mundo tem opinião sobre skills.
Ninguém tem o número.
O Batuta mede se uma skill funciona de verdade, a que custo e em qual modelo — e publica tudo, imutável, sem lucro.
Os dois primeiros números são zero, e isso está certo. A Fase 1 é provar o método na trilha de código, onde o juiz é quase grátis (o teste passa ou não passa). Nada é publicado aqui antes de ter sido medido — e quando for, vem com o dado cru junto.
O que o Batuta é
Existem hoje dezenas de roteadores de skill. Nenhum deles publica dado. Cada um mede o próprio gol com a própria régua, e por isso nenhum consegue provar que é melhor que o vizinho — nem que serve para alguma coisa.
O Batuta não entra nessa fila. Ele entra como juiz: a camada de medição funciona com qualquer roteador. O nosso roteador é implementação de referência, não o produto.
como funciona, em três peças
1. Um binário que não atrapalha
Um hook local roda antes do seu turno, olha as skills que você já tem e sugere no máximo três. BM25, sem rede, sem LLM, sem espera — 2,7 milésimos de segundo com 506 skills instaladas. Se nada casar claramente, ele fica calado: falso positivo custa mais que falso negativo.
2. Um funil que vira número
route (o Batuta propôs) → activate (a skill disparou mesmo) → outcome (o turno terminou bem?). Daí saem a taxa de disparo, as skills fantasma, e a métrica que ninguém tem: custo por tarefa concluída — porque uma skill pode encarecer a chamada e baratear a tarefa, matando reprompt.
3. Um juiz que não pode se enganar sozinho
O juiz é cego (não sabe se a skill disparou), não é réu (modelo nunca julga a própria saída) e é versionado. E em 5% dos turnos o roteador se cala de propósito, para existir grupo de controle — sem isso a gente mediria correlação e chamaria de causa.
O que você ganha hoje, sozinho
Mesmo sem enviar nada, o Batuta te diz quais das suas skills nunca dispararam, quais competem entre si pelo mesmo turno, e quanto cada uma está custando por tarefa que terminou bem. O relatório funciona 100% offline. Enviar dado é opt-in explícito, e o que sobe é resumo diário agregado por skill — nunca evento cru, nunca o texto do seu prompt.
O que sobe e o que não sobe, em detalhe →
Para onde isso vai
A estrela-polar é infraestrutura pública gratuita: que qualquer pessoa, ONG ou governo use IA barata com resultado provado. Mas a ordem importa — se não funcionar nada no ponto um, os outros não têm sentido. Primeiro o número. Depois a receita. Depois a missão.