L’industrie de l’IA prise à son propre piège : Nvidia n’aurait pas assez de mémoire pour ses prochaines puces
La vie apporte parfois des ironies savoureuses. Alors que depuis maintenant plusieurs mois le monde entier se prend de plein fouet la crise de la RAMpocalypse, largement alimentée par les besoins gargantuesques en mémoire des infrastructures dédiées à l’intelligence artificielle, Nvidia serait sur le point de revoir à la baisse la dotation en mémoire de ses prochains GPU spécialisés dans l’IA. La raison ? Même pour l’IA, la pénurie de mémoire est telle que la production ne suit plus, selon The Information.

Ainsi, Nvidia testerait plusieurs versions de son prochain GPU destiné aux grands centres de données dédiés à l’IA. Si les premières ébauches de Rubin Ultra mentionnaient 1 To de mémoire HBM4E, la cure d’amaigrissement serait drastique : la société au caméléon vert envisagerait des versions dotées de 256 Go, voire de seulement 192 Go. Une dotation divisée par quatre au minimum !
La mémoire HBM4E est la puce de RAM la plus avancée du moment : très haut débit, consommation électrique réduite, jusqu’à 16 couches de silicium empilées. Une capacité gigantesque, et un prix en accord avec les ambitions : selon Epoch AI, elle représenterait plus de la moitié du prix total des composants présents dans le GPU Rubin Ultra. Mais plus que le prix, c’est sa disponibilité qui inquiète sérieusement Nvidia, au point de revoir les ambitions de son dernier GPU dédié à la baisse.
SK Hynix ne voit pas la fin de la RAMpocalypse avant 2030
Et pourtant, Nvidia multiplie les efforts : elle a même conclu récemment un partenariat évalué à 500 milliards de dollars avec SK Hynix afin de concevoir et fabriquer les nouvelles puces HBM4 et HBM4E. Cependant, ces efforts semblent ne pas suffire pour assouvir le besoin gigantesque en mémoire des data-centers qui poussent comme des champignons.
Reste que la solution envisagée par Nvidia pourrait avoir un effet quelque peu paradoxal : avec moins de mémoire disponible sur chaque GPU, les entreprises faisant tourner les modèles les plus imposants pourraient être contraintes d’utiliser davantage de Rubin Ultra pour obtenir les mêmes résultats. Autrement dit, pour répondre à la pénurie de mémoire provoquée en bonne partie par l’explosion de l’IA, Nvidia pourrait réduire la mémoire de ses GPU… obligeant certains clients à acheter davantage de GPU. La boucle serait alors joliment bouclée. À défaut de voir les tarifs baisser, voilà de quoi faire arborer un petit sourire narquois aux utilisateurs grand public, voyant toute l’industrie de l’IA prise à son propre piège.