Cómo leer un benchmark de IA sin dejarse engañar

Todo anuncio de modelo llega con una tabla. Filas con nombres en mayúsculas, columnas con porcentajes, y una de ellas en negrita. El problema no es que los números sean falsos —normalmente no lo son—, sino que la tabla responde una pregunta distinta a la que el lector cree estar haciendo.

Qué mide realmente un benchmark

Un benchmark es un conjunto fijo de preguntas con respuestas conocidas. Mide el desempeño en ese conjunto, bajo esa forma de preguntar, con ese método de puntuación. Nada más.

Eso deja fuera tres cosas que sí te importan: si el modelo funciona en tu dominio, si funciona en tu idioma, y si funciona con tus datos desordenados en lugar de preguntas curadas.

Las cuatro preguntas antes de creerle a un número

¿Quién corrió la evaluación? Cuando el propio laboratorio publica los resultados de su modelo y los de la competencia, tiene todos los incentivos para optimizar su configuración y usar la configuración por defecto de los demás. No es fraude; es asimetría de esfuerzo. Las evaluaciones de terceros independientes valen más, aunque sean menos vistosas.

¿Con cuántos intentos? Un puntaje bajo "pass@1" (un intento) y otro bajo "pass@10" (diez intentos, cuenta si alguno acierta) no son comparables, y la diferencia entre ambos puede ser de decenas de puntos. Lo mismo aplica a las técnicas de razonamiento extendido: si un modelo obtuvo su número usando mucho más cómputo por pregunta, la comparación mide dos cosas distintas.

¿Hay contaminación de datos? Los benchmarks públicos están en internet, y los modelos se entrenan con internet. Cuando un examen aparece en el conjunto de entrenamiento, el modelo no razona: recuerda. Es la razón por la que existen benchmarks con conjuntos de prueba privados o que se renuevan periódicamente, y por la que un salto repentino en un test antiguo merece más sospecha que celebración.

¿Cuál es el margen de error? Muchos benchmarks tienen unos cientos de preguntas. En un conjunto de 500 ítems, una diferencia de dos puntos porcentuales es ruido estadístico. Casi ninguna tabla publica intervalos de confianza, y buena parte de las diferencias que se anuncian como avances caen dentro de ese margen.

El sesgo del español

Casi todos los benchmarks influyentes nacieron en inglés. Algunos tienen traducciones, y esas traducciones suelen ser automáticas, lo que arrastra errores y modismos raros. Un modelo puede rendir notablemente peor en español rioplatense o chileno que su puntaje general sugiere, sobre todo en tareas con jerga local, documentos legales o nombres propios.

Si tu producto opera en Chile, el número que importa lo tienes que medir tú.

Qué sí es evidencia útil

• Evaluaciones con conjunto de prueba oculto, que impiden entrenar contra el examen.
• Comparaciones a igual cómputo y a igual costo, no solo a igual nombre de modelo.
• Evaluaciones humanas ciegas sobre tareas realistas, con acuerdo entre evaluadores reportado.
• Tu propio conjunto de casos, aunque tenga treinta ejemplos. Es la única evidencia que mide tu problema.

Cómo leemos las tablas aquí

Cuando cubrimos un lanzamiento, reportamos el número que publicó el laboratorio y decimos que es del laboratorio. Si hay una evaluación independiente, la citamos aparte. Y cuando la diferencia entre dos modelos cabe dentro del margen de error, lo decimos en lugar de declarar un ganador.

Un benchmark bien leído es una herramienta razonable para descartar opciones. Es una herramienta pésima para elegir la definitiva.