Bonjour,

Ce mardi 18 mars 2025, Nvidia a tenu sa conférence annuelle sur les technologies graphiques, la GTC, à San Jose en Californie.

Jensen Huang en a profité pour revenir sur les technologies actuelles que propose Nvidia mais aussi pour introduire la roadmap des produits à venir.

Dans cette newsletter écrite par Julien, ingénieur chez AWS, nous vous proposons de revenir sur les annonces de cette conférences avec son point de vue d’ingénieur pour démystifier ce qui a été dit !

📣 Communication

Avant de commencer, si tu veux aller plus loin, tu peux t’abonner au Club Bourseko. Pour rappel, voici ce qu’on propose au sein du Club :

• Un espace d’échange entre +150 investisseurs (dont Xavier Delmas) pour s’entraider, progresser et partager ses investissements

• Des analyses fondamentales sur des actions de qualité 2x par mois (exemple : Ferrari)

• Le suivi trimestriel des résultats de plus de 50 actions que nous surveillons (exemple : Airbus)

• Notre watchlist d’actions mensuelle, directement dans ta boîte mail chaque 1er du mois.

• Des événements physiques réservés aux membres

• Et bien d’autres choses…

Jusqu'où ira NVIDIA ?

Avant d’attaquer les annonces croustillantes de cette GTC, je pense qu’il est de bon ton de revenir sur les produits que propose Nvidia ainsi que sur ce qui intéresse le marché. En effet, même si beaucoup connaissent Nvidia, l’entreprise reste un acteur de niche et est plus connue des investisseurs et gameurs que du grand public. De plus, même chez les investisseurs, beaucoup ne comprennent pas ce qui intéresse réellement le marché.

Les produits actuels et ce qui intéresse le marché

On peut aujourd’hui décomposer la gamme de produits d’Nvidia en 4 segments: les cartes graphiques pour particuliers, le matériel à destination des datacenters, l’écosystème logiciel et la partie véhicules autonomes et robotique.

Bien que les cartes graphiques grand public soient le segment historique d’Nvidia, ce n’est plus celui qui attire le plus l’attention du marché. La dernière génération, la série 5000 basée sur l’architecture Blackwell, rencontre un vif succès et se retrouve même en rupture de stock.

Pour autant, ce segment affiche une croissance modeste par rapport aux autres et ne constitue plus un moteur stratégique pour l’entreprise. Je ne m’attarderai donc pas davantage sur ces cartes, car elles n’étaient pas au cœur des annonces de la GTC et ne constituent pas le principal sujet d’intérêt pour le marché.

L’écosystème logiciel ainsi que le segment de l’automobile autonome et de la robotique, représentent une part encore modeste du chiffre d’affaires de Nvidia, mais affichent une forte croissance.

Ils offrent des relais de développement stratégiques et contribuent à stabiliser les revenus grâce aux abonnements aux services logiciels, c’est pourquoi le marché les regarde mais n’est pas encore focalisé dessus. Je reviendrai d’ailleurs plus en détail sur ces deux segments un peu plus loin.

Non, le segment sur lequel se focalise le marché est bien celui du matériel à destination des datacenter. Aujourd’hui, l’intelligence artificielle est dans l’esprit de tout le monde depuis l’arrivée de ChatGPT 3.5 en novembre 2022. C’est bel et bien ce dernier qui a lancé la course à l’IA et, avec elle, la course à l’équipement en puissance de calcul. 

L’acteur qui en a bénéficié le plus jusqu’ici est bien Nvidia avec une demande ahurissante et des clients qui supplient Jensen Huang pour pouvoir acheter des puces. 

Bien que ce segment ait été largement porté par les ventes de GPU Hopper puis Blackwell, une part non négligeable du chiffres d’affaires est aussi liée aux ventes de matériel réseau comme des switch et des optiques. 

Le marché de l’intelligence artificielle et les prévisions futures

Jensen Huang a profité de cette GTC pour revenir sur la roadmap de l’IA en expliquant les différentes étapes. Parce que oui, comme pour toute innovation, il faut d’abord passer par des étapes intermédiaires avant d’arriver à l’étape finale. Il a d’abord fallu inventer le télégraphe avant d’inventer le téléphones puis le smartphone.

Et bien pour l’intelligence artificielle, le télégraphe était AlexNet, un modèle de reconnaissance d’images créé par Ilya Sutskever (Co-fondateur d’OpenAI) en 2012. Cette avancée a permis de faire d’énormes progrès dans la reconnaissance d’images ainsi que dans le machine learning à destination de tâches IA “simples”, ce que Jensen Huang appelle Perception AI.

Vient ensuite l’étape d’aujourd’hui avec l’intelligence artificielle générative, un outil plus puissant et adaptable à de nombreuses industries, mais dont l’impact reste encore limité. Si elle excelle notamment dans la rédaction et l’analyse de données, son champ d’application, bien que spectaculaire, demeure restreint.

L’étape d’après, qui devrait avoir beaucoup plus d’impact est l’intelligence artificielle agentique (Agentic AI). Ici le but est d’avoir une IA experte dans un domaine qui serait en mesure de réaliser des tâches complexes.

Le but ultime de tout ce développement est d’arriver à une intelligence artificielle physique qui permettra notamment l’arrivée des véhicules autonomes et des robots boostés à l’IA.

Comme on le constate, le chemin vers l’objectif final est encore long, ce qui confirme que la demande en puissance de calcul n’est pas une tendance éphémère, mais un besoin durable pour les années à venir. À aucun moment dans l’histoire de l’informatique, nous ne nous sommes arrêtés en considérant que la puissance de calcul était suffisante. La demande n’a cessé de croître, et cette dynamique s’observe d’ailleurs dans toutes les industries.

Selon la projection de Dell’Oro, les investissement dans les datacenters pourraient atteindre plus de 1 000 milliards de dollars d’ici 2028. Et selon Jensen Huang, cette estimation n’est même pas particulièrement euphorique. Comme on peut le voir sur le graphique ci-dessus d’ailleurs, la part que prend Nvidia sur ces investissement est de plus en plus grande, et il y a fort à parier que ce schéma continue.

Un point intéressant, c’est que Jensen Huang a précisé pendant la conférence que la demande (uniquement pour Microsoft, Amazon, Meta et Google) pour Blackwell dépasse les 1,8M de puces pour 2025 contre 1,3M de puces Hopper (l’ancienne génération), au pic de la demande pour cette génération en 2024, ce qui confirme que les chiffres d’Nvidia resteront excellents sur 2025.

L’écosystème software

Comment parler d’Nvidia sans parler de CUDA ? C’est une des pierres angulaires de l’avantage compétitif d’Nvidia ! Depuis l’introduction de la plateforme en 2006, plus de 6 millions de développeurs ont utilisé CUDA pour construire leurs applications. 

Aujourd’hui, CUDA est omniprésent dans de nombreuses industries, rendant l’achat de matériel Nvidia indispensable pour faire fonctionner une multitude de services et d’applications. Des télécommunications à la recherche médicale, en passant par la simulation 3D et l’intelligence artificielle, il accélère les calculs et améliore leur précision.

Un point intéressant que j’aimerais aborder pour que vous puissiez bien saisir l’avantage concurrentiel que possède Nvidia, c’est de comparer Nvidia à Apple, souvent cité comme une référence en la matière. Les utilisateurs d’iPhone et de Mac renouvellent presque systématiquement leur matériel avec des produits Apple, ce qui témoigne de la fidélité à l’écosystème. Pourtant, je pense que la position de Nvidia est encore plus solide.

En effet, un utilisateur d’iPhone peut, malgré quelques frictions, migrer vers Android. En revanche, se passer d’Nvidia est une tout autre affaire. Si vos outils et logiciels reposent sur CUDA, technologie propriétaire d’Nvidia, ils ne fonctionneront tout simplement pas sans carte Nvidia. 

Même avec la meilleure volonté, basculer vers une alternative implique de consacrer du temps et des ressources à l’adaptation des logiciels. Or, CUDA bénéficie d’un développement continu depuis 2006, alors que les solutions concurrentes n’en sont qu’à leurs débuts, avec à peine un ou deux ans d’existence.

Et ce développement ne cesse de continuer avec l’arrivée de solutions basées sur CUDA comme Cosmos, introduit au CES 2025, qui est le nouveau fer de lance d’Nvidia. Jensen Huang a profité de la conférence pour remettre en avant cette solution, qui, couplée à Omniverse, permet de générer de la data synthétique (c’est à dire, créée par l’intelligence artificielle elle-même).

À l’heure où l’on peine à trouver de la data de qualité pour alimenter les modèles, Cosmos se positionne comme un maillon essentiel. Son rôle devient d’autant plus critique pour l’IA physique, où la fiabilité des données conditionne directement les performances. Des véhicules autonomes aux robots humanoïdes, cet outil sera indispensable pour garantir un apprentissage optimisé et une adaptation fluide aux environnements complexes du monde réel.

Cependant, une des star de cette présentation fut Dynamo, une nouvelle plateforme conçue pour accélérer et optimiser l’inférence des modèles d’IA à grande échelle. Cette solution vise à améliorer les performances tout en réduisant les coûts liés à l’inférence, un aspect crucial pour les “usines d’IA” modernes.

L’un des atouts majeurs de Dynamo est sa capacité à multiplier par 30 le nombre de requêtes traitées grâce à plusieurs optimisations. Parmi elles, un smart router qui répartit intelligemment la génération sur les clusters de GPU, un GPU planner optimisant l’allocation des ressources, une version améliorée du NCCL Collective pour fluidifier les communications inter-GPU, NIXL qui facilite le transfert de données entre GPU, ainsi que le NVMe KV-Cache Offload Manager optimisant la gestion du cache.

Toutes ces avancées vont avoir un impact significatif, que ce soit dans l’avancée des modèles pour les véhicules autonomes et les robots humanoïdes avec Cosmos ou dans l’amélioration de l’inférence dans des cluster multi-GPU pour rendre plus efficaces les Agents IA du futur.

Les partenariats annoncés

Un des points qui a été confirmé lors de cette conférence est que l’IA n’est pas une bulle et impacte toutes les industries. Les solutions sont déjà déployées chez nombre des partenaires d’Nvidia comme Cadence, Siemens, Deloitte, SAP, AT&T, Accenture, BlackRock, CapitalOne, et bien d’autres encore.

Une fois n’est pas coutume, Jensen Huang en a profité pour annoncer plusieurs partenariats, notamment avec General Motors pour la construction de leur future flotte de véhicules autonomes, mais aussi avec Cisco, T-Mobile et Cerberus ODC pour implémenter l’intelligence artificielle dans les réseaux de télécommunication aux USA. 

Le dernier partenariat annoncé a été celui avec Google DeepMind et Disney sur la conception de Newton, la prochaine génération de moteur de rendu physique qui permettra aux robots humanoïdes de mieux gérer les tâches complexes. 

Rubin: le successeur de Blackwell

Passons maintenant au gros morceau des annonces: l’annonce de Blackwell Ultra et de Rubin ainsi que celle de la roadmap d’Nvidia jusqu’à 2028. La première question qu’on pourrait se poser, c’est pourquoi Nvidia nous dévoile sa roadmap produits jusqu’à 2028 alors que Blackwell vient tout juste de sortir ?

La roadmap de déploiement des datacenter

Cette question est légitime et Jensen l’a en partie adressée lors de la conférence: ces cartes graphiques sont à destination des datacenter, et, pour construire de A à Z un datacenter, il faut compter plusieurs années. 

Dévoiler dès aujourd’hui les produits qu’Nvidia proposera à partir de la deuxième partie de 2027 (qui équiperont donc les datacenter de 2028) permet à ses clients de mieux organiser leur planning. Mais plutôt que de me lancer dans une longue explication, je vous propose le schéma ci-dessous pour que vous puissiez mieux visualiser les contraintes.

La roadmap des produits Nvidia

Maintenant que le décors est posé, revenons un peu sur cette roadmap.

La meilleure gamme de GPUs disponible actuellement et proposée par Nvidia est la puce Blackwell. Deux puces Blackwell couplée à un CPU Grace donne la plateforme Grace-Blackwell ou GB200. Un rack complet GB200 NVL72 est composé de 36 GB200 couplée au système NVLink qui connecte les GPUs entre-eux.

Le rack GB200 NVL72 est ce qu’il se fait de plus puissant à l’heure actuelle. Aujourd’hui, la concurrence peine à concurrencer Hopper, la génération précédente, et Blackwell est 30 fois plus performante qu’Hopper. 

Pour 2025, Nvidia apporte une mise à jour à Blackwell en proposant Blackwell Ultra. Le rack GB300 NVL72 offrira 50 % de puissance en plus, 50 % de mémoire supplémentaire et une bande passante doublée par rapport au GB200 NVL72.

Les performances sont déjà impressionnantes, mais Nvidia ne compte pas s’arrêter là. Dès la seconde moitié de 2026, l’entreprise lancera Vera-Rubin, le successeur de la plateforme Grace-Blackwell. Ce nouveau système offrira 3,3 fois la puissance et 1,6 fois la mémoire de Blackwell Ultra ainsi qu’une bande passante doublée.

Un des principaux atouts de Rubin réside dans le fait qu’elle représente une avancée majeure dans les plateformes conçues pour l’intelligence artificielle. Elle intègre une toute nouvelle génération de mémoire, la HBM4, spécifiquement développée pour l’IA, contrairement à la HBM3e, qui est moins optimisée pour ces applications. 

Cette nouvelle mémoire permet des débits de données plus élevés et une meilleure efficacité énergétique, essentielles pour les traitements massifs nécessaires aux modèles d’IA. De plus, Rubin sera équipée de la nouvelle version du NVLink, le NVLink 6, qui améliore considérablement la bande passante entre les GPU et permettra une communication plus rapide et plus fluide au sein des systèmes distribués, ce qui est crucial pour l’inférence et l’entraînement des modèles d’IA.

Comme pour Blackwell, Nvidia proposera pour la seconde moitié de 2027 une mise à jour de Rubin, nommée Rubin Ultra qui permettra d’atteindre 576 GPUs dans un seul rack, proposant par la même occasion 14 fois la puissance, 8 fois la mémoire et 12 fois la bande passante de Blackwell Ultra.

C’est une densité de de puissance de calcul extrême qui est tout bonnement impressionnante. On parle de 15 Exaflops de puissance, soit 1,5 millions de fois la puissance de l’ordinateur domestique moyen, tout ça dans un espace d’encombrement relativement faible.

Cette densité de puissance de calcul sera un élément essentiel pour faire tourner les modèles d’intelligence artificielle de demain tout en permettant de faire tomber certaines barrières technologiques empêchant la mise en place de cluster IA à plus d’un million de GPUs.

Si l’on compare Hopper avec Blackwell Ultra et Rubin Ultra, en prenant Hopper en base 1, Blackwell Ultra est 68 fois plus puissant et Rubin Ultra est 900 fois plus puissant que Hopper.

Toujours en prenant une base 1 pour Hopper, le coût du calcul passe à 0,13 sur Blackwell Ultra et à 0,03 sur Rubin Ultra. Malgré l’avance insolente d’Nvidia dans le domaine, ces innovations et ce besoin de repousser les limites restent nécessaire, que ce soit pour Nvidia, mais surtout pour ses clients.

Pourquoi ces innovations sont nécessaires ?

Comme l’a très bien expliqué Jensen Huang, le but des fournisseurs de cloud est de maximiser leurs revenus. Dans le cadre de l’inférence, cela repose sur deux métriques essentielles: le nombre de tokens générés par seconde et la qualité de ces tokens. 

Or, il existe une tension entre ces deux paramètres: plus un token est de haute qualité, plus il nécessite de calculs et donc plus il est long à générer. À l’inverse, si l’on favorise trop la vitesse, la réponse risque d’être médiocre, poussant le client final à chercher une alternative. De même, une recherche excessive de qualité pourrait entraîner des délais trop longs, nuisant à l’expérience utilisateur. 

L’enjeu est donc de trouver le bon compromis entre qualité et rapidité, garantissant à la fois une satisfaction optimale des utilisateurs et une rentabilité maximale pour les fournisseurs de cloud.

La puissance supplémentaire apportée avec Blackwell et Rubin permet justement d’augmenter la qualité des réponses sans augmenter drastiquement le temps de calcul. 

Malheureusement, avec la vitesse de progression actuelle des modèles, il est fort probable que cette puissance de calcul ne soit toujours pas suffisante, malgré l’augmentation en parallèle de la taille des cluster.

Surtout qu’avec l’arrivée des modèles de raisonnement comme DeepSeek R1, la demande en capacité de calcul explose littéralement.

Dans l’exemple utilisé par Nvidia pendant la conférence, on peut voir qu’un modèle classique comme Llama3 n’a généré “que” 439 tokens mais a donné une réponse fausse. A contrario, DeepSeek R1 a généré 20 fois plus de token et a nécessité 150 fois plus de puissance de calcul. Tout ça pour un problème simple à la base.

C’est à ce moment-là qu’on réalise que Jensen Huang a vu juste: avec l’arrivée de DeepSeek R1, les besoins futurs en puissance de calcul ont été multipliés par au moins 100 par rapport à l’année dernière.

Les besoins engendrés par les modèles d’IA à raisonnement ne se limiteront pas à un accroissement de la puissance de calcul brute, mais nécessiteront également plus de mémoire et de bande passante. C’est précisément là qu’intervient tout l’intérêt de Dynamo, qui va simplifier l’inférence sur les systèmes distribués.

La révolution de cette GTC: Nvidia Photonics

Bien que les annonces sur la puissance de Rubin et Blackwell aient suscité un grand intérêt, la véritable révolution réside dans Nvidia Photonics. Alors que Rubin Ultra permet de surmonter certaines limites technologiques liées à l’évolutivité des systèmes, c’est bien avec Nvidia Photonics qu’Nvidia franchit une nouvelle étape. 

Cette technologie promet de repousser encore plus loin les capacités des systèmes, notamment en adressant des contraintes cruciales telles que la consommation d’énergie. Nvidia Photonics ouvre la voie à des architectures qui, au-delà de la puissance brute, apportent des solutions innovantes pour gérer les défis énergétiques et améliorer la performance des systèmes à grande échelle.

<Avant de continuer plus loin dans l’explication, il faut que je vous donne quelques bases en topologie réseau, cela vous permettra de mieux saisir certains aspects de cette technologie. Pour ça, je vous ai fait un petit schéma que vous pouvez retrouver ci-dessous:

Prenons le bas du schéma. Les host c’est vos serveur, ou GPU dans notre cas. Chaque host est connecté à un switch qu’on appelle TOR (pour Top of the rack), qui va connecter notre rack serveur au réseau. 

Au dessus de ce TOR, on a une topologie classique avec Spine/Leaf T2/Leaf T1. Je ne rentrerais pas dans les détails de pourquoi on a deux couches de leaf, mais pour résumer, c’est pour augmenter la scalabilité ainsi que d’améliorer la tolérance aux pannes.

Le spine layer est ensuite connecté aux couches supérieures du réseau, ça peut être une autre couche composée de Spine/Leaf T2/Leaf T1 ou bien des Load Balancer ou des pare-feux (firewall). 

Dans un cluster IA contenant des milliers de GPU, le nombre d’optiques nécessaires explose rapidement. Chaque switch doit être interconnecté à plusieurs autres via des liens à très haute capacité, ce qui implique l’utilisation de fibres optiques et de transceivers optiques (QSFP, OSFP, etc.). Contrairement aux câbles cuivre, ces connexions permettent de transporter d’énormes volumes de données avec une latence minimale, ce qui est crucial pour les charges de travail IA.

À grande échelle, cela se traduit par un nombre colossal de connexions. Comme chaque liaison nécessite une paire d’optiques, le nombre total d’émetteurs-récepteurs peut atteindre plusieurs centaines de milliers d’unités dans un seul datacenter. Cette densité de connexions est essentielle pour assurer une bande passante suffisante et éviter tout goulot d’étranglement, surtout lorsque l’on parle d’entraînement ou d’inférence de modèles IA massifs qui nécessitent une communication continue entre les GPU.

Le tour de force de Nvidia Photonics, c’est d’éliminer les modules optiques traditionnels en permettant de connecter directement les fibres optiques aux switchs. La puce du switch assure la modulation du signal, qui est ensuite transmis à des émetteurs laser externes. Ces derniers génèrent et envoient le signal optique vers les fibres responsables de la transmission des données.

Pour comprendre l’impact que ça a, je pense qu’il est désormais utile que j’évoque certains chiffres. Aujourd'hui, un rack comprenant 16 switchs de 128 ports chacun coûte entre 80 et 250k dollars. Si l’on équipe chaque port de ce rack, il faudra donc 128 x 16 optiques soit 2048 optiques.

Premièrement, sur l’impact financier, chaque optique, si commandée en grande quantité, coûte entre 500 et 1000$. Les supprimer entièrement comme le propose Nvidia Photonics reviendrait à économiser entre 1 et 2 millions de dollars par rack de switch. Sachant que les datacenter actuels sont composés de centaines de ces racks, je vous laisse imaginer la facture.

Maintenant, le réel enjeux se situe au niveau de la consommation énergétique. Chaque optique consomme 30W. Dis comme ça, ça paraît peu face aux 120kW que consomme un rack GB200 NVL72… Cependant, mis à l’échelle, chaque rack de switch consomme 61kW d’électricité juste en optiques. Et comme dit Jensen Huang, ces optiques n’ont fait aucun calcul…

En supprimant les optiques, une part significative de la consommation énergétique est économisée, permettant soit d’augmenter la densité de calcul, soit d’améliorer l’efficacité énergétique globale des datacenters.

Mais ce n’est pas tout ! En éliminant les composants optiques traditionnels, Nvidia Photonics permet des transmissions de données plus rapides et plus directes. Cela se traduit par une réduction significative de la latence, permettant ainsi de prolonger les distances de transmission sans perte de performance. 

Cette avancée profitera directement aux clusters IA, où une latence ultra-faible est cruciale pour des performances optimales. Les connexions entre GPU seront considérablement améliorées, et associées à Dynamo, cela permettra de rendre l’inférence en système distribué d’une efficacité redoutable.

De plus, une des limitations technologiques des datacenters actuels qui empêche d’atteindre des clusters de 200k, 500k voire 1 million de GPUs est la latence générée par la distance entre les GPUs aux extrémités du réseau. En résumé, la latence due à la communication entre les puces ralentit les calculs au-delà d’un certain nombre de GPUs, rendant l’ajout de nouvelles unités inefficace, voire contre-productif. Avec Nvidia Photonics, cette contrainte est surmontée, ouvrant la voie à la construction de clusters à 1 million de GPUs.

Pour ce qui est de la disponibilité, Nvidia Photonics devrait être disponible dès mi-2025 avec Quantum-X, sa solution reposant sur InfiniBand (une solution propriétaire), puis dès mi-2026 avec Spectrum-X, sa solution reposant sur Ethernet et en concurrence directe avec avec la technologie TomaHawk 5 de Broadcom.

Conclusion

Cette conférence a été particulièrement riche en annonces, qu’il s’agisse des nouveaux partenariats ou de la roadmap des produits Nvidia. Une fois encore, elle a démontré l’avance compétitive de l’entreprise et sa capacité à définir les standards de l’industrie, aussi bien sur le plan matériel que logiciel.

Nvidia se distingue par son agilité et son esprit d’innovation, mais aussi par la vision de son PDG, Jensen Huang. Son aptitude à anticiper les évolutions du marché et à prendre les bonnes décisions stratégiques, des années avant la concurrence, est remarquable. 
Ce qui impressionne également, c’est son expertise technique. Contrairement à la plupart des CEO, il maîtrise un large éventail de domaines, du software à la conception de puces en passant par le réseau et l’optique. Là où un ingénieur se spécialise sur un seul de ces aspects, lui est capable de tous les appréhender et d’en parler avec une précision rare. Peu de dirigeants peuvent en dire autant.

Mais au-delà de cette vision et de cette maîtrise, Nvidia abat une à une les barrières technologiques qui freinaient l’industrie. Ses innovations ne se contentent pas d’améliorer l’existant: elles redéfinissent les règles du jeu et façonnent l’avenir de l’infrastructure informatique à l’échelle mondiale. 

Cette conférence a aussi été l’occasion pour Jensen Huang de rassurer les investisseurs et les marchés financiers, en démontrant que la demande en puissance de calcul est colossale et n’en est qu’à ses débuts.

C’est tout pour cette newsletter.

Si tu as des questions sur le Club, cette newsletter ou tout autre sujet, n’hésite pas à nous les poser. Nous y répondrons avec plaisir. Tu peux répondre à ce mail ou nous contacter directement à [email protected]

Et si tu penses que cette newsletter pourrait plaire à une personne de ton entourage, transfère-lui directement cet email.

Passe une excellente journée et à bientôt dans la prochaine newsletter 😊

Loris & Abdallah