Manifiesto de Batuta
En una frase
Batuta es una capa abierta de medición para Agent Skills. Su trabajo es responder tres preguntas con evidencia: si una skill se activó cuando correspondía, si la tarea terminó bien y cuánto costó completar esa tarea en un modelo concreto.
No pretende ser otro directorio ni otro enrutador que se califica a sí mismo. El enrutador incluido es una implementación de referencia. El producto público es la regla de medición.
Por qué existe
El ecosistema ofrece muchas recomendaciones, pero casi ninguna viene acompañada por el denominador, el grupo de control, el coste completo y los datos necesarios para revisar el resultado. Una puntuación sin muestra es marketing; una comparación sin control es correlación presentada como causa.
Batuta empieza por una promesa más pequeña y verificable: publicar únicamente resultados que puedan reproducirse y discutir abiertamente las limitaciones de la muestra.
La secuencia importa
- Medir primero en una pista donde el criterio de aceptación sea barato y claro.
- Comparar skills y modelos sin cambiar la tarea entre brazos.
- Publicar el resultado junto con el método, la versión del juez y la evidencia bruta.
- Recomendar una receta solo después de que la medición la respalde.
La misión a largo plazo es infraestructura pública gratuita para que personas, organizaciones civiles y gobiernos puedan elegir herramientas de IA por resultados demostrados, no por presupuesto de marketing. Esa misión no autoriza a adelantar conclusiones.
Siete principios
1. Cero lucro
Ni fundadores ni colaboradores reciben beneficio privado del ranking. Si algún día se aceptan donaciones, la entidad receptora, las comisiones, el propósito y cada gasto deberán ser públicos antes de mostrar un botón.
2. Transparencia verificable
Cada resultado publicado debe incluir método, muestra, versión, contexto del modelo y evidencia. La cadena de hashes revela ediciones posteriores; no sustituye la validez experimental.
3. Privacidad local por defecto
El texto del prompt no sale de la máquina. El informe local funciona sin red. El envío está desactivado hasta que la persona lo habilita y, aun así, solo acepta un resumen diario agregado por skill.
4. Sin conflicto de interés
Batuta no vende skills, modelos ni suscripciones. La referencia puede competir técnicamente, pero no puede ocultar el método ni ocupar el lugar del juez.
5. Sesgo declarado
Quien instala Batuta ya se interesa por las skills. Esa muestra voluntaria no representa automáticamente a todo el ecosistema. El sesgo debe aparecer junto al número, no en una nota perdida.
6. El voto ordena la cola, no la nota
La comunidad puede indicar qué tarea desea ver medida. Antes de ejecutarla, Batuta la reescribe como enunciado canónico, criterio de aceptación, categoría y complejidad. La popularidad decide prioridad, nunca resultado.
7. Alcance cívico, no partidista
La meta es capacidad pública —educación, salud, agricultura, acceso a servicios— sin convertirse en instrumento de una disputa electoral.
Reglas del juez
El juez es ciego: no sabe qué brazo recibió la skill. El juez no es el acusado: un modelo no evalúa su propia salida. El juez es versionado: modelo, versión y hash de la instrucción forman parte del registro.
Existe un brazo de control. En la configuración de referencia, el enrutador guarda silencio deliberadamente en el 5% de los turnos. La tasa es visible, configurable y puede establecerse en cero.
Lo que la cadena sí y no demuestra
Cada registro incorpora el SHA-256 del anterior sobre JSON canónico. Cambiar un registro antiguo rompe los enlaces posteriores. Esto demuestra que el contenido publicado no fue editado silenciosamente; no demuestra que el número original fuera correcto. Para eso existen el protocolo, el control, la evaluación ciega y la publicación de datos.
La obligación de admitir límites
La credibilidad es el único producto. Si una medición no tiene muestra suficiente, la página queda vacía. Si una distribución todavía no existe, el sitio no ofrece un comando que finja instalarla. Si una afirmación es una meta, se presenta como meta; si es una medida, incluye fecha y procedimiento.
Batuta prefiere un cero honesto a una cifra inventada.