Samsung lance une mémoire HBM3E de haute capacité pour un IA Plus rapide

Samsung vient de lever le voile sur sa dernière innovation en matière de mémoire, baptisée HBM3E 12H DRAM, équipée de la technologie TC NCF de pointe. Pour ceux qui adorent les acronymes, c'est un régal, mais permettez-moi de décrypter tout ça pour le reste d'entre nous. HBM, ça veut dire "mémoire à haute bande passante", et croyez-moi, ça porte bien son nom.

En octobre, Samsung a présenté HBM3E Shinebolt, une version améliorée de la troisième génération de HBM capable d'atteindre 9,8 Gbps par broche, soit 1,2 téraoctets par seconde pour l'ensemble du module.

Passons maintenant au "12H". Cela représente simplement le nombre de puces empilées verticalement dans chaque module, douze dans ce cas précis. C'est une manière d'augmenter la capacité mémoire dans un module et Samsung a réussi à atteindre 36 Go avec son modèle 12H, soit 50 % de plus qu'avec un modèle 8H. La bande passante, quant à elle, reste à 1,2 téraoctets par seconde.

Quant au TC NCF, cela signifie "Film non conducteur à compression thermique", autrement dit, le matériau qui est intercalé entre les puces empilées. Samsung a travaillé à le rendre plus mince, atteignant désormais 7 µm, de sorte que la pile 12H a à peu près la même hauteur qu'une pile 8H, permettant d'utiliser le même emballage HBM.

Un avantage supplémentaire du TC NCF est l'amélioration des propriétés thermiques, ce qui aide à mieux refroidir. Mieux encore, la méthode utilisée dans ce nouveau DRAM HBM3E 12H améliore également les rendements.

À quoi va servir cette mémoire ? Comme s'il fallait poser la question – l'IA est sur toutes les lèvres ces temps-ci. Pour être honnête, c'est une application qui nécessite beaucoup de RAM. L'année dernière, Nvidia a ajouté Samsung à sa liste de fournisseurs pour la mémoire à haute bande passante, et l'entreprise conçoit des designs plutôt impressionnants.

Le GPU Nvidia H200 Tensor Core dispose de 141 Go de HBM3E, fonctionnant à un total de 4,8 téraoctets par seconde. C'est bien au-delà de ce que vous voyez sur un GPU consommateur avec GDDR. Par exemple, le RTX 4090 dispose de 24 Go de GDDR6, fonctionnant à seulement 1 téraoctet par seconde.

Selon les rapports, le H200 utilise six modules HBM3E 8H de 24 Go de Micron (total de 144 Go mais seulement 141 Go utilisables). La même capacité peut être atteinte avec seulement quatre modules 12H, ou alternativement, une capacité de 216 Go peut être atteinte avec six modules 12H.

Selon les estimations de Samsung, la capacité supplémentaire de son nouveau design 12H accélérera la formation IA de 34 % et permettra aux services d'inférence de gérer "plus de 11,5 fois" le nombre d'utilisateurs.

L'engouement pour l'IA maintiendra une forte demande pour des accélérateurs comme le H200, ce qui rend le marché de la fourniture de mémoire particulièrement lucratif. Voilà pourquoi des entreprises comme Micron, Samsung et SK Hynix veulent leur part du gâteau.