- Una startup respaldada por Microsoft presenta alternativas sin GPU para la IA generativa
- La arquitectura DIMC proporciona un ancho de banda de memoria extremadamente alto de 150 TB/s
- Corsair admite transformadores, inteligencia artificial AI y creación de videos interactivos
d-Matrix Inc., una startup de hardware con sede en Santa Clara, California, ha presentado su primer procesador de IA, Corsair, cuyo objetivo es mejorar la inferencia de IA.
Con el respaldo de Microsoft y el uso de tecnología avanzada, Corsair evita las GPU tradicionales y las costosas memorias de gran ancho de banda (HBM), lo que ofrece importantes beneficios de rendimiento y costos.
Corsair ya está disponible para los clientes de acceso anticipado, y se prevé una mayor disponibilidad para el segundo trimestre de 2025.
El rendimiento de Corsair redefine la inferencia de la IA
El procesador Corsair está diseñado específicamente para manejar tareas exigentes de inferencia de IA, especialmente para modelos de IA generativa. Por ejemplo, alcanza 60.000 tokens por segundo a 1 ms por token. Al ejecutar Llama3 8B en un solo servidor.
En escenarios que consumen más recursos, como con los modelos Llama3 70B, Corsair entrega 30.000 tokens por segundo a 2 ms por token en un solo estante, lo que se traduce en importantes ahorros de energía y costos operativos en comparación con las soluciones tradicionales basadas en GPU.
El procesador está construido sobre chips Nighthawk y Jayhawk II, utilizando un proceso de fabricación de 6 nm. Cada mosaico Nighthawk incorpora cuatro núcleos neuronales y un procesador RISC-V, optimizado para admitir la inferencia de modelos grandes con computación digital en memoria (DIMC) y procesamiento de tipos de datos versátil, incluido el punto flotante en bloque (BFP).
Corsair adopta un paquete de chips, que combina memoria y computación para maximizar la eficiencia. Cumple con el estándar de tarjetas de altura completa PCIe Gen5 y se puede combinar con tarjetas DMX Bridge para un rendimiento escalable. Cada tarjeta cuenta con 2400 TFLOP de computación máxima de 8 bits, junto con 2 GB de memoria de rendimiento integrada y hasta 256 GB de capacidad de memoria fuera del chip.
Es importante señalar que Micron Technology, un socio importante de Nvidia, también coopera con d-Matrix.
D-Matrix, cuyo lanzamiento estaba previsto inicialmente para finales de 2023, ha redefinido su arquitectura en respuesta a la creciente demanda de IA generativa. Este giro permitió a Corsair incorporar mejoras adaptadas a los modelos de transformadores y aplicaciones emergentes como la inteligencia artificial y la creación de vídeos interactivos.
“Vimos venir los transformadores y la inteligencia artificial generativa, y fundamos d-Matrix para abordar los desafíos de inferencia en torno a la mayor oportunidad informática de nuestro tiempo”, dijo Sid Sheth, cofundador y director ejecutivo de d-Matrix.
“La plataforma informática de Corsair, primera en su tipo, ofrece una rápida generación de tokens para aplicaciones multiusuario altamente interactivas, lo que hace que Gen AI sea comercialmente viable”, añadió Sheth.
a través de eeNoticias
