- HBM es la base de la revolución de la IA porque permite una transferencia de datos extremadamente rápida cerca de la GPU.
- Escalar el rendimiento de HBM es difícil si cumple con los protocolos JEDEC
- Marvell y otros quieren desarrollar una arquitectura HBM personalizada para acelerar su desarrollo
Marvell Technology ha presentado una arquitectura informática HBM personalizada diseñada para aumentar la eficiencia y el rendimiento de XPU, un componente clave del panorama de infraestructura de nube en rápida evolución.
La nueva arquitectura, desarrollada en colaboración con los gigantes de la memoria Micron, Samsung y SK Hynix, tiene como objetivo abordar las limitaciones de la integración de memoria tradicional ofreciendo soluciones adaptadas a las necesidades de la próxima generación de centros de datos.
La arquitectura se centra en mejorar la forma en que las XPU (utilizadas en sistemas de inteligencia artificial y computación en la nube) manejan la memoria. Al optimizar las interfaces entre las matrices de silicio informáticas de IA y las pilas de memoria de gran ancho de banda, Marvell afirma que la tecnología reduce el consumo de energía hasta en un 70% en comparación con las implementaciones estándar de HBM.
alejándose de JEDEC
Además, se dice que su rediseño reduce los requisitos de espacio de silicio hasta en un 25 %, lo que permite a los operadores de la nube ampliar la capacidad de procesamiento o incluir más memoria. Esto puede permitir que las XPU admitan hasta un 33 % más de pilas HBM, lo que aumenta enormemente la densidad de la memoria.
“Los principales operadores de centros de datos en la nube han cambiado con la infraestructura personalizada. Mejorar las XPU adaptando HBM al rendimiento, la potencia y el coste total de propiedad específicos es el último paso en un nuevo paradigma sobre cómo se diseñan y entregan los aceleradores de IA”, Will Chu, vicepresidente senior dijo el presidente y director general de Custom, Compute and Storage Group de Marvel.
“Estamos agradecidos de trabajar con diseñadores de memoria líderes para acelerar esta revolución y ayudar a los operadores de centros de datos en la nube a continuar escalando su XPU e infraestructura para la era de la IA”.
HBM desempeña un papel central en las XPU, que utilizan tecnología de empaquetado avanzada para combinar memoria y potencia de procesamiento. Sin embargo, las arquitecturas tradicionales limitan la escalabilidad y la eficiencia energética.
El nuevo enfoque de Marvell cambia la propia pila de HBM y su integración, con el objetivo de ofrecer un mejor rendimiento con un menor consumo de energía y menores costos, consideraciones clave para los hiperescaladores que buscan constantemente gestionar las crecientes demandas de energía en los centros de datos.
servir el hogarde Patrick Kennedy, quien informó la noticia en vivo desde Marvell Analyst Day 2024, señaló que cHBM (HBM personalizado) no es una solución JEDEC y, por lo tanto, no será un HBM estándar disponible en el mercado.
“Alejar la memoria de los estándares JEDEC y permitir la personalización para hiperescaladores es un movimiento monumental en la industria”, escribe. “Esto demuestra que Marvel tiene grandes victorias en XPU a gran escala porque ese tipo de personalización en el espacio de la memoria no ocurre en pedidos pequeños”.
La colaboración con los principales fabricantes de memorias refleja una tendencia más amplia en la industria hacia un hardware especialmente adaptado.
“El aumento de la capacidad de memoria y el ancho de banda ayudará a los operadores de la nube a escalar eficientemente su infraestructura para la era de la inteligencia artificial”, afirmó Raj Narasimhan, vicepresidente senior y director general de la unidad de negocios de redes y computación de Micron.
“Las colaboraciones estratégicas centradas en la eficiencia energética, como la que tenemos con Marvell, se basarán en la especificación de energía HBM líder en la industria de Micron y proporcionarán a los hiperescaladores una plataforma poderosa para ofrecer las capacidades y el rendimiento óptimos necesarios para escalar la IA”.
