Últimamente he estado pensando que el ritmo de progreso de los grandes modelos se parece cada vez más al Tick-Tock que se traían las fábricas de chips en su día.
La lógica de Intel de entonces todos la conocemos:
un año cambiaban el proceso, Tick; al año siguiente cambiaban la arquitectura, Tock.
No era porque no quisieran revolucionar cada año, sino porque una revolución anual es insostenible.
Con los grandes modelos ahora también huele un poco a eso.
Te das cuenta de que,
cada dos por tres, sacan una versión pequeña: un poco más estable, inferencia un poco más rápida, contexto un poco más largo.
Y al cabo de un tiempo llega una versión grande, y de repente sientes que todo el asunto ya no es exactamente lo mismo.
Las versiones pequeñas básicamente son Tick:
el paradigma no cambia; optimización de ingeniería, mejores datos, alineación más madura, costes más bajos.
Se nota que va más fino, pero tampoco sabes decir en qué es diferente exactamente.
Lo que de verdad se siente como un salto generacional, en cambio, no es tan frecuente.
Pero cuando llega, es muy evidente.
Por ejemplo, la capacidad de razonamiento, los Agent, el test-time compute empiezan a formar un sistema coherente.
En cierto sentido, esto también indica que el “almuerzo gratis” de Transformer + scaling ya se está comiendo en su segunda mitad.
Aún se puede comer, pero ya no sabe tan bien.
Así que solo queda, por un lado, apurar el plato hasta dejarlo limpio, y por el otro, pensar cuándo toca cambiar de restaurante.
Otro cambio es que
ahora lo que se actualiza hace tiempo que no es solo el modelo en sí, sino todo un sistema.
Modelo + estrategia de inferencia + herramientas + orquestación.
Parece una actualización pequeña, pero por debajo en realidad están cambiando el esqueleto a escondidas.
Así que mi sensación ahora es:
Tick será cada vez más frecuente, y Tock cada vez más “pesado”.
No habrá avances todos los días, pero cuando lleguen, cambiarán por completo el ritmo.
Esto, dicho claro, también es bastante de ingeniería.
Señala que el sector de los grandes modelos está pasando de la etapa de “papers frenéticos” a entrar poco a poco en una auténtica era industrial.
Un poco aburrido, y también lo normal.