Dernièrement, je me dis que le rythme des progrès des grands modèles ressemble de plus en plus au Tick-Tock que pratiquaient autrefois les fabricants de puces.
La logique d’Intel de l’époque, tout le monde la connaît :
une année, on change le procédé de fabrication — Tick ; l’année suivante, on change l’architecture — Tock.
Ce n’était pas faute de vouloir faire une révolution chaque année, c’est juste que, concrètement, tu n’as pas les moyens de révolutionner tous les ans.
Les grands modèles ont aujourd’hui un peu cette saveur-là aussi.
Tu vas t’en rendre compte :
tous les trois jours, on sort une petite version, un peu plus stable, un peu plus rapide en inférence, avec un contexte un peu plus long ;
puis au bout d’un moment arrive une grosse version, et là tu as soudain l’impression que tout le truc n’est plus vraiment le même.
Les petites versions, c’est essentiellement du Tick :
le paradigme ne bouge pas, optimisation d’ingénierie, meilleures données, alignement plus maîtrisé, coûts plus bas.
À l’usage, c’est clairement plus fluide, mais tu serais incapable de dire précisément ce qui a changé.
Les vraies ruptures de génération, au fond, ne sont pas si fréquentes.
Mais quand elles arrivent, c’est tout de suite évident.
Par exemple : les capacités de raisonnement, les Agents, le test-time compute — tout ça commence à se structurer en un ensemble cohérent.
D’une certaine manière, ça montre aussi que le « déjeuner gratuit » de Transformer + scaling est déjà bien entamé, on est dans la seconde moitié.
On peut encore en profiter, mais c’est moins savoureux.
Donc on ne peut que, d’un côté, lécher l’assiette jusqu’au bout, et de l’autre, se demander quand il faudra changer de restaurant.
Un autre changement, c’est que les mises à niveau ne concernent plus seulement le modèle lui-même, mais tout un système.
Modèle + stratégie d’inférence + outils + orchestration.
Ça ressemble à une petite mise à jour, mais en dessous, on est en train de remplacer discrètement le squelette.
Du coup, mon impression, c’est :
les Tick vont devenir de plus en plus rapprochés, les Tock de plus en plus lourds.
Il n’y aura pas des percées tous les jours, mais quand elles arriveront, elles changeront tout le tempo.
Au fond, c’est très “ingénierie”, tout ça.
Ça montre que le secteur des grands modèles est en train de passer, petit à petit, de la période des articles frénétiques à une vraie ère industrielle.
C’est assez ennuyeux, et c’est parfaitement normal.