En revenant sur les origines de Gemini, Jeff Dean a livré une observation particulièrement intéressante : renforcer les capacités de programmation d’un modèle peut aussi améliorer certaines performances sur des tâches qui n’ont rien à voir avec le code. Derrière cette affirmation se cache une question beaucoup plus large sur la manière dont les grands modèles d’IA apprennent à résoudre des problèmes.
L’histoire pourrait presque tenir en une formule : Google améliore les capacités de coding de Gemini, et le modèle devient meilleur en raisonnement.
C’est en substance l’un des enseignements mis en avant par Search Engine Journal dans un article publié le 16 septembre 2026 à partir d’un entretien de Jeff Dean.
La réalité est toutefois plus intéressante que ce raccourci.
Jeff Dean ne raconte pas qu’une compétence de programmation aurait soudainement « débloqué » l’intelligence de Gemini. Il décrit plutôt un phénomène de transfert : lorsqu’un modèle apprend à mieux traiter des problèmes extrêmement structurés, certaines des capacités mobilisées peuvent devenir utiles ailleurs.
Et plusieurs travaux de recherche indépendants suggèrent que cet effet ne se limite pas à Gemini.
Ce que Jeff Dean dit réellement
Lors du Frontier & Pioneer Symposium 2026, organisé à Stanford par l’Asian American Scholar Forum, Jeff Dean a participé à un fireside chat animé par Dawn Song. L’événement s’est tenu du 7 au 9 août 2026, et la session consacrée à Dean figure bien dans le programme officiel.
Interrogé sur les enseignements tirés du développement de Gemini, Dean explique notamment que Google voulait construire un système performant dans de nombreux domaines.
La programmation faisait partie de ces objectifs, mais selon lui, l’effort destiné à rendre Gemini particulièrement performant en coding avait pris un peu de retard.
C’est à ce moment qu’apparaît l’un des passages les plus intéressants de l’entretien.
Dean explique qu’en travaillant davantage sur la programmation, le modèle devient aussi meilleur pour décomposer un problème complexe en plusieurs sous-problèmes, puis progresser à travers ces différentes étapes.
Il résume ensuite l’idée ainsi :
« If you improve coding, you also tend to improve that capability in non-coding things. »
Autrement dit : améliorer le coding tend également à renforcer cette capacité sur des tâches qui ne relèvent pas directement de la programmation.
La nuance est importante.
Il ne dit pas que le code a créé le raisonnement de Gemini.
Il ne dit pas non plus qu’ajouter davantage de code à un dataset rend automatiquement un modèle plus intelligent.
Il décrit une corrélation fonctionnelle entre l’apprentissage de certaines compétences nécessaires à la programmation et des capacités utiles dans d’autres types de problèmes.
Pourquoi le code pourrait-il améliorer certaines formes de raisonnement ?
Écrire un programme impose une structure particulièrement rigoureuse.
Il faut gérer des étapes, des variables, des conditions, des dépendances, des contraintes et parfois décomposer un problème important en plusieurs opérations plus petites.
Pour un modèle de langage, être exposé massivement à ce type de données signifie donc rencontrer des exemples où l’information possède une organisation explicite et fortement structurée.
Cela offre une hypothèse intéressante : le code ne serait pas seulement une langue spécialisée destinée aux développeurs, mais également une forme de données particulièrement riche pour apprendre certaines structures de résolution de problèmes.
Il faut néanmoins rester prudent.
Le mécanisme exact par lequel les données de code influencent les représentations internes et les performances générales des modèles reste un sujet de recherche. Dire que « le code apprend à l’IA à raisonner » serait donc beaucoup trop simplificateur.
Mais les résultats expérimentaux commencent à donner du poids à l’intuition de Jeff Dean.
Ce que montrent les études scientifiques
Un article présenté à ICLR 2024, intitulé At Which Training Stage Does Code Data Help LLMs Reasoning?, a étudié l’influence des données de code à différentes étapes de l’entraînement.
Les chercheurs ont notamment comparé leur introduction pendant le pré-entraînement, l’instruction tuning ou les deux.
Leur conclusion principale est que le pré-entraînement réalisé avec un mélange de texte et de code peut améliorer significativement les capacités générales de raisonnement des modèles étudiés, avec peu de transfert négatif observé sur les autres tâches évaluées.
Une autre étude, présentée à ICLR 2025, apporte des résultats encore plus précis.
Dans To Code or Not To Code? Exploring Impact of Code in Pre-training, les chercheurs évaluent l’impact du code sur des tâches qui dépassent largement la génération de programmes.
Ils testent notamment des modèles de 470 millions à 2,8 milliards de paramètres sur du raisonnement en langage naturel, des connaissances générales, des benchmarks de code et des évaluations génératives.
Par rapport à un pré-entraînement uniquement textuel, l’ajout de code produit dans leurs expériences jusqu’à :
+8,2 % en raisonnement en langage naturel,
+4,2 % sur les tâches de connaissance du monde,
+6,6 % sur les taux de victoire en génération,
et jusqu’à 12 fois les performances sur certaines évaluations de programmation.
Ces chiffres ne signifient évidemment pas qu’un modèle contenant du code est « 8,2 % plus intelligent ».
Ils montrent quelque chose de plus précis : dans les configurations expérimentales testées, les bénéfices du code se propagent à plusieurs tâches non directement liées à la programmation.
C’est exactement là que le propos de Jeff Dean devient particulièrement intéressant.
Mais « plus de code » ne veut pas dire « plus d’intelligence »
L’étude ICLR 2025 insiste également sur un élément essentiel : les effets dépendent fortement de la manière dont le code est intégré à l’entraînement.
La qualité des données de code joue notamment un rôle important. Les chercheurs indiquent que l’amélioration de cette qualité peut avoir un impact disproportionné sur plusieurs catégories de tâches.
La proportion de code, la nature des données et le moment auquel elles sont introduites peuvent également modifier les résultats.
Il serait donc trompeur d’en déduire une règle du type :
plus de code = plus de raisonnement = modèle plus intelligent.
Les modèles sont entraînés sur des mélanges extrêmement complexes de données, et les performances observées résultent de nombreuses interactions.
Le coding apparaît surtout comme un ingrédient particulièrement intéressant pour favoriser certaines formes de généralisation.
Gemini était multimodal bien avant cette amélioration du coding
Les déclarations de Jeff Dean permettent également de corriger une autre idée reçue sur Gemini.
La multimodalité n’a pas été ajoutée après coup au modèle.
Dean raconte qu’avant la création de Gemini, plusieurs équipes de Legacy DeepMind, Google Brain et Google Research travaillaient parallèlement sur des directions de recherche devenues très proches.
Il explique avoir rédigé un mémo d’une page proposant de réunir les chercheurs, les idées et les ressources de calcul autour d’un seul modèle multimodal.
Google confirmait déjà publiquement cette philosophie lors de la présentation de Gemini 1.0 en décembre 2023.
Le groupe décrivait Gemini comme ayant été « built from the ground up to be multimodal » et précisait que le modèle avait été pré-entraîné dès le départ sur différentes modalités.
Google citait alors explicitement le texte, le code, l’audio, les images et la vidéo.
Cette architecture n’était donc pas pensée comme celle d’un chatbot textuel auquel seraient progressivement ajoutées des capacités supplémentaires.
La multimodalité faisait partie du projet dès sa conception.
Jusqu’au LiDAR
Jeff Dean donne même un exemple particulièrement révélateur de cette philosophie.
Selon lui, Google avait inclus une petite quantité de données LiDAR dans les données d’entraînement afin que Gemini soit au moins familiarisé avec l’existence de cette modalité, notamment en vue de futurs entraînements plus spécialisés.
Cela montre jusqu’où allait l’ambition initiale : construire un modèle suffisamment généraliste pour pouvoir travailler avec plusieurs types de représentations et servir ensuite de fondation à des applications spécialisées.
Le choix du coding s’inscrit dans cette même logique.
Gemini n’est pas uniquement entraîné pour produire du code.
Le code devient aussi une forme supplémentaire d’information structurée susceptible d’améliorer certaines capacités générales du système.
Le véritable enseignement dépasse Gemini
C’est probablement le point le plus intéressant de toute cette histoire.
Pendant longtemps, les performances des modèles d’IA ont été présentées comme une collection de compétences relativement séparées : comprendre du texte, programmer, analyser une image, résoudre un problème mathématique ou répondre à une question.
Les grands modèles multimodaux montrent progressivement que les frontières entre ces compétences sont moins nettes.
Une compétence spécialisée peut parfois renforcer des mécanismes utiles dans plusieurs domaines.
Le coding constitue un très bon exemple.
Apprendre à manipuler des structures extrêmement rigoureuses peut aider un modèle lorsqu’il doit ensuite décomposer ou résoudre d’autres problèmes complexes.
Les travaux ICLR montrent que cet effet peut être mesuré expérimentalement dans certaines configurations.
Cela ouvre une question particulièrement importante pour la prochaine génération de modèles :
quelles compétences spécialisées permettent de produire les meilleurs effets de généralisation ?
Le progrès ne dépendra peut-être pas uniquement de la quantité de données ou de la taille des modèles.
Il pourrait également dépendre de la capacité des laboratoires à identifier les types d’apprentissage qui développent des compétences réutilisables dans de nombreux contextes.
Fact-check : alors, le code a-t-il appris à Gemini à raisonner ?
La réponse la plus rigoureuse est donc :
pas exactement.
Jeff Dean affirme bien que renforcer les capacités de coding peut améliorer certaines capacités mobilisées dans des tâches non liées au code.
Des travaux scientifiques indépendants montrent également que l’intégration de code pendant le pré-entraînement peut produire des gains sur certaines tâches générales de raisonnement et de connaissance.
Mais aucune de ces sources ne démontre que la programmation aurait soudainement créé ou « débloqué » le raisonnement de Gemini.
Le constat est plus subtil :
le code semble constituer une forme d’apprentissage particulièrement structurante, capable dans certaines conditions de produire des bénéfices qui dépassent largement la programmation.
Et cette conclusion est finalement beaucoup plus intéressante que le raccourci initial.
Sources principales
Jeff Dean × Dawn Song — 2026 Frontier & Pioneer Symposium, Asian American Scholar Forum, Stanford, août 2026.
Roger Montti — Search Engine Journal — Ex-Googler Jeff Dean Explains Design Choices Behind Gemini, 16 septembre 2026.
Google — Introducing Gemini: our largest and most capable AI model, 6 décembre 2023.
ICLR 2024 — At Which Training Stage Does Code Data Help LLMs Reasoning?
ICLR 2025 — To Code or Not To Code? Exploring Impact of Code in Pre-training.