Avant les « modèles qui réfléchissent » — l’âge sombre (2022–2024)

Avant les modèles qui réfléchissent, du lancement de ChatGPT en novembre 2022 jusqu’en septembre 2024, un modèle de chat répondait d’une traite. Il écrivait sa réponse un mot après l’autre, sans étape pour vérifier son travail. Les modèles qui réfléchissent, à commencer par o1 d’OpenAI, écrivent d’abord leur raisonnement, puis répondent.

Je n’étais pas sûr des dates moi-même. Cette semaine, j’ai posé la question à Nova, l’un de mes agents, sur Telegram. Je me souvenais que les premiers ChatGPT et Claude ne réfléchissaient pas, et qu’aujourd’hui ils le font tous. Je pensais que le changement datait d’environ un an. Il date de deux ans.

Nova m’a renvoyé une chronologie et a appelé les années d’avant « l’âge sombre ». Le titre m’a plu. J’ai donc vérifié la chronologie pour cette note, et j’ai ajouté ce que la réflexion a changé dans mes propres apps : ce qu’elles coûtent, la vitesse de leurs réponses, et parfois le fait même qu’elles répondent.

Deux ans de réponses d’une traite

« L’âge sombre », c’est une blague, mais le mécanisme derrière est bien réel. Jusqu’en septembre 2024, un modèle de chat n’avait aucun endroit où réfléchir avant de parler.

Un modèle de langage écrit un mot à la fois. Pour être exact, il écrit des tokens, des morceaux de mots, mais « mots » suffit ici. Pour chacun, il choisit un mot suivant probable d’après tout ce qui précède, puis il passe au suivant. Il ne peut pas revenir changer un mot déjà écrit.

La réponse, c’était donc la réflexion. Si le modèle se trompait tôt dans un calcul, chaque mot suivant s’appuyait sur cette erreur. La réponse se lisait quand même sans accroc. Une réponse fausse avait l’air aussi sûre qu’une réponse juste.

Des chercheurs ont trouvé une parade en 2022. Une équipe de l’université de Tokyo et de Google a ajouté une seule phrase avant la réponse : « Let’s think step by step », réfléchissons étape par étape. Sur une série de petits problèmes d’arithmétique, un modèle d’OpenAI est passé de 18 % de bonnes réponses à 79 %. C’est passer de moins d’un problème sur cinq à presque quatre sur cinq.

Le modèle savait donc raisonner, à condition d’écrire les étapes. Mais il fallait le lui demander, et personne ne l’avait entraîné à bien le faire.

Septembre 2024 : le modèle apprend à réfléchir d’abord

Le 12 septembre 2024, OpenAI a sorti o1-preview. C’était le premier modèle très utilisé à être entraîné pour écrire son raisonnement avant chaque réponse.

La méthode d’entraînement s’appelle l’apprentissage par renforcement. Le modèle essaie un problème, écrit son raisonnement, et reçoit une récompense quand la réponse finale est juste. Au fil des essais, il garde les habitudes qui paient. L’article d’OpenAI en cite quelques-unes. Le modèle « apprend à reconnaître et à corriger ses erreurs ». Il découpe les étapes difficiles en étapes plus simples, et tente une autre voie quand la première échoue.

OpenAI a gardé le raisonnement brut caché. Dans ChatGPT, on voyait un court résumé, et une ligne indiquant combien de temps le modèle avait réfléchi.

Le gain était le plus fort là où une réponse se vérifie. L’AIME est un examen de 15 questions qui qualifie les lycéens américains pour l’olympiade de mathématiques. Sur les sujets de 2024, GPT-4o, le meilleur modèle de ChatGPT avant o1, résolvait en moyenne environ 2 questions sur 15. o1 en résolvait environ 11.

OpenAI a aussi constaté que o1 s’améliorait à mesure qu’il réfléchissait plus longtemps. C’est un nouvel échange : on achète une meilleure réponse avec plus de temps et plus de tokens. C’est l’échange que je retrouve aujourd’hui dans mes propres apps.

Six mois plus tard, tout le monde en avait un

Le o1 complet est sorti le 5 décembre 2024. Deux semaines plus tard, Google a publié une version expérimentale de Gemini 2.0 Flash qui réfléchit. Puis tout le monde a suivi.

• DeepSeek-R1, janvier 2025. Un laboratoire chinois a publié un modèle de raisonnement proche de o1 en maths et en code. Ses poids étaient ouverts, sous licence MIT : n’importe qui pouvait le télécharger et le faire tourner. Une semaine plus tard, l’action Nvidia a perdu 17 % en une journée.
• Claude 3.7 Sonnet, février 2025. Anthropic l’a présenté comme un « modèle de raisonnement hybride » : le même modèle répond vite, ou réfléchit d’abord quand on le lui demande, et on peut lire sa réflexion.
• o3 et o4-mini, avril 2025. Les modèles de raisonnement suivants d’OpenAI pouvaient utiliser des outils pendant leur réflexion : chercher sur le web, exécuter du code, regarder des images.
• GPT-5, août 2025. Dans ChatGPT, un routeur décide, message par message, s’il faut répondre vite ou réfléchir.

Aujourd’hui, la réflexion est un réglage, plus un produit à part. Même le plus petit Claude, Haiku 5.5, réfléchit sauf si on lui dit de ne pas le faire.

Les dates de Nova ont tenu quand je les ai vérifiées. Un chiffre, non. Nova disait que DeepSeek avait entraîné R1 pour environ 6 millions de dollars. Ce chiffre appartient à un autre modèle : environ 5,6 millions de dollars, c’est le dernier entraînement du modèle de base de DeepSeek, V3. R1 est construit sur V3, et son entraînement au raisonnement a coûté 294 000 $ de plus, d’après l’article de DeepSeek dans Nature.

Nova tourne sur Claude Sonnet 5, un modèle qui réfléchit, et il a quand même mélangé les deux. Alors, que corrige vraiment la réflexion ?

La réflexion vérifie les étapes, pas les faits

La réflexion aide surtout quand chaque étape se vérifie : un calcul, une démonstration, du code que des tests peuvent exécuter. Elle ne donne pas au modèle un fait qu’il n’a jamais appris.

Les propres rapports d’OpenAI montrent les deux côtés. Pour le rapport sur o1, en décembre 2024, un outil de surveillance a lu le raisonnement derrière 102 443 réponses. Dans 43 d’entre elles, o1 avait inventé une information, et son raisonnement montrait qu’il le savait. Il s’agissait surtout de références : un livre ou une page web qu’il ne pouvait pas vérifier sans recherche, alors il en écrivait une plausible.

C’est rare, environ 4 réponses sur 10 000. Mais la réflexion ne l’a pas empêché. Elle l’a seulement rendu visible pour qui lisait le raisonnement.

Le rapport sur o3, en avril 2025, est allé plus loin. Sur PersonQA, le test d’OpenAI fait de questions sur des faits publics concernant des personnes, o3 inventait dans 33 % de ses réponses. C’est le double des 16 % de o1, et o4-mini montait à 48 %. L’explication d’OpenAI : o3 avance plus d’affirmations au total, justes comme fausses. Le rapport ajoute qu’il faut « plus de recherche » pour comprendre.

En septembre 2025, OpenAI a publié un article sur la raison pour laquelle les modèles inventent. Sa réponse : la plupart des tests notent une supposition mieux qu’un « je ne sais pas », donc l’entraînement apprend aux modèles à deviner. La réflexion ne change pas cette note.

J’ai touché la même limite chez moi. En août, Rex, mon agent de suivi sportif, devait enregistrer un produit alimentaire à partir de mes photos, tableau nutritionnel compris. J’ai essayé cinq modèles sur la même étape. Gemini 3 Flash m’a renvoyé un plat de poisson dont on avait parlé plus tôt dans la conversation, pas le produit de la photo. Gemini 3.1 Pro a dit qu’il n’arrivait pas à lire les valeurs et me les a demandées.

Le problème, c’étaient mes photos : aucune ne montrait le tableau clairement. Aucun modèle, qu’il réfléchisse ou non, ne lit des chiffres absents de l’image. Il me fallait une meilleure photo, pas un meilleur modèle.

La réflexion a un prix

La réflexion, c’est du texte en plus, que le modèle écrit avant la réponse. Vous le payez, vous l’attendez, et il compte dans la limite de taille de la réponse. J’ai rencontré les trois dans mes propres apps.

• Le coût. En septembre, mon app de notes de réunion, Scribelex, a envoyé une réunion de 16 minutes à Gemini 3.5 Flash. Environ 80 % de ce que le modèle a écrit était de la réflexion cachée, facturée comme la réponse. La réunion a coûté 0,39 €. Mon estimation disait 0,08 €, parce qu’elle ne comptait pas la réflexion.
• La réponse vide. En octobre, le chat en direct de la même app a affiché une réponse vide. Claude Haiku 5.5 réfléchit par défaut, et sa réflexion partage la limite de la réponse. Avec une limite de 700 tokens, un appel a passé les 700 à réfléchir. Il n’a renvoyé ni texte ni erreur. Réflexion coupée, les réponses arrivent maintenant en 2 secondes environ au lieu de 6.
• Le modèle local. Mon outil de commit, brb-git, peut tourner sur les modèles du Mac mini lui-même. Là, il utilise Granite d’IBM, un modèle qui ne réfléchit pas. Les modèles qui réfléchissent revenaient vides : ils dépensaient le budget en raisonnement, la bibliothèque jetait ce raisonnement, et il ne restait rien.

Je choisis donc selon la tâche. Pour un message de commit ou une réponse rapide pendant une réunion, la réflexion reste coupée. Pour les agents, c’est l’inverse. Quand j’ai configuré mon framework d’agents, OpenClaw, il ignorait tout modèle local qui n’était pas marqué comme capable de raisonner. Un agent planifie, appelle des outils, lit les résultats et corrige ses propres erreurs. C’est exactement le travail étape par étape où la réflexion est bonne.

À essayer

• OpenAI, Learning to reason with LLMs, septembre 2024, en anglais : comment o1 a été entraîné, et les résultats à l’AIME.
• La fiche système d’o1, décembre 2024, avec l’outil qui lit le raisonnement, et la fiche système d’o3 et d’o4-mini, avril 2025, avec PersonQA. Toutes deux en anglais.
• Kojima et ses coauteurs, Large Language Models are Zero-Shot Reasoners, 2022, en anglais : l’article du « Let’s think step by step ».
• DeepSeek, DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning, Nature, septembre 2025, en anglais.
• OpenAI, Why language models hallucinate, septembre 2025, en anglais.
• Deux de mes notes sur ce que coûte l’IA : compter ce que les tokens achètent et dépenser plus de tokens.

Choisissez un prompt que vous envoyez chaque jour. Lancez-le une fois sans réflexion et une fois avec, puis comparez la réponse, l’attente et le coût. Si vous trouvez une tâche où la réflexion n’en vaut pas la peine, dites-moi laquelle.

Texte brut: before-thinking-models-dark-ages.md · Flux Atom · Toutes les notes