Qué mirar cuando sale un modelo de IA nuevo (y qué ignorar)

El ciclo se repite con una regularidad casi cómica: un laboratorio anuncia un modelo, publica una tabla donde gana en la mayoría de las filas, la industria declara que "todo cambió otra vez", y dos semanas después nadie recuerda el nombre. La pregunta útil no es si el modelo es el mejor del mundo, sino si mejora algo que tú estés haciendo.

Esta es la lista de verificación con la que leemos cada lanzamiento en Noticias Neuronal.

1. La ventana de contexto, pero en su uso real

La cifra que se anuncia —128 mil, un millón de tokens— es el techo, no el rendimiento. Dos modelos con la misma ventana pueden comportarse de forma muy distinta cuando el dato relevante está en el medio de un documento largo.

Lo que conviene preguntar: ¿hay evaluaciones de recuperación en contexto largo, no solo el número máximo? ¿Cuánto sube el costo y la latencia al llenar esa ventana? Un contexto enorme que en la práctica se usa al 10% es una cifra de marketing.

2. El precio por millón de tokens, de entrada y de salida

Es el dato que decide si un producto es viable y el que suele aparecer más abajo en el anuncio. Importa la asimetría: en casi todos los modelos la salida cuesta varias veces más que la entrada, así que un caso de uso que genera textos largos tiene una economía completamente distinta a uno que clasifica correos.

Antes de comparar dos modelos por precio de lista, estima tu mezcla real de entrada y salida. Y revisa si hay caché de prompts: en flujos con instrucciones largas y repetidas, puede cambiar el costo en un orden de magnitud.

3. Latencia y throughput, no solo calidad

Un modelo un poco mejor pero tres veces más lento puede ser inservible en un chat de atención al cliente y perfectamente razonable en un proceso nocturno por lotes. La latencia del primer token y la velocidad de generación son requisitos de producto, no detalles técnicos.

4. Qué tan bien usa herramientas

Para cualquier aplicación que vaya más allá de generar texto, la capacidad de llamar funciones de forma confiable es más determinante que el puntaje en razonamiento. Aquí lo que importa es la tasa de errores de formato, el comportamiento cuando una herramienta falla y si el modelo sabe detenerse en lugar de inventar el resultado.

5. Los límites declarados

Fecha de corte del conocimiento, límites de tasa, disponibilidad regional, política de retención de datos. Nada de esto aparece en los titulares y todo esto aparece en producción.

Lo que casi nunca importa

El nombre y el número de versión. Los esquemas de nombres de los laboratorios responden a marketing, no a una escala de capacidad comparable entre empresas.

El puntaje agregado en una tabla de benchmarks. Un promedio esconde exactamente lo que necesitas saber. Un modelo que destaca en matemáticas de competencia puede ser mediocre resumiendo actas en español. Vale la pena revisar cómo se leen esas tablas antes de tomarlas como veredicto.

Las demos. Un video muestra el mejor resultado de un número desconocido de intentos. Es publicidad, y está bien que lo sea: simplemente no es evidencia.

El único test que cuenta

Armar un conjunto de 20 a 50 casos propios —tomados de tu tráfico real, con la respuesta correcta escrita a mano— y correrlos contra el modelo nuevo y el que ya usas. Es un par de horas de trabajo y responde en términos concretos lo que ninguna tabla publicada puede responder: si en tu problema el modelo nuevo es mejor.

Si el resultado es que no lo es, acabas de ahorrarte una migración. Eso también es una conclusión valiosa.