- Sagence aporta computación analógica en memoria para redefinir la inferencia de IA
- Diez veces menos potencia y 20 veces menos costes
- También ofrece integración con PyTorch y TensorFlow.
Sagence AI introdujo una arquitectura informática analógica avanzada en memoria diseñada para abordar los problemas de potencia, costo y escalabilidad en la inferencia de IA.
Utilizando un enfoque analógico, la arquitectura ofrece mejoras en eficiencia energética y rentabilidad, al tiempo que ofrece un rendimiento similar a los sistemas GPU y CPU de alta gama existentes.
Este movimiento audaz posiciona a Sagence AI como un potencial disruptor en un mercado dominado por Nvidia.
eficiencia y rendimiento
La arquitectura Sagence ofrece ventajas al procesar modelos de lenguaje grandes como Llama2-70B. Normalizada a 666.000 tokens por segundo, la tecnología de Sagence ofrece resultados con un consumo de energía 10 veces menor, costos 20 veces menores y un espacio en los estantes 20 veces menor en comparación con las principales soluciones basadas en GPU.
Este diseño prioriza los requisitos de inferencia sobre la capacitación, lo que refleja el cambio en el enfoque de la computación de IA dentro de los centros de datos. Con su eficiencia y disponibilidad, Sagence ofrece una solución al creciente desafío de garantizar el retorno de la inversión (ROI) a medida que las aplicaciones de IA escalan hacia una implementación a gran escala.
En el corazón de la innovación de Sagence se encuentra su tecnología de computación analógica en memoria, que fusiona almacenamiento y computación dentro de las celdas de memoria. Al eliminar la necesidad de almacenamiento separado y circuitos multiplicadores de tiempo, este enfoque simplifica los diseños de chips, reduce los costos y mejora la eficiencia energética.
Sagence también emplea computación profunda por debajo del umbral en múltiples celdas de memoria (una primicia en la industria) para lograr las ganancias de eficiencia necesarias para la inferencia de IA escalable.
Los sistemas tradicionales basados en CPU y GPU dependen de una programación dinámica compleja, lo que aumenta los requisitos de hardware, las ineficiencias y el consumo de energía. La arquitectura estáticamente programada de Sagence simplifica estos procesos, reflejando las redes neuronales biológicas.
El sistema también está diseñado para integrarse con marcos de desarrollo de IA existentes como PyTorch, ONNX y TensorFlow. Una vez que se importan las redes neuronales entrenadas, la arquitectura de Sagence elimina la necesidad de procesamiento adicional basado en GPU, lo que simplifica la implementación y reduce los costos.
“Los avances fundamentales en el hardware de inferencia de IA son esenciales para el futuro de la IA. El uso de grandes modelos de lenguaje (LLM) y la inteligencia artificial generativa está impulsando la demanda de cambios rápidos y masivos en el núcleo informático, lo que requiere una combinación sin precedentes de las más altas tecnologías. rendimiento con la potencia más baja y una economía que iguala los costos con el valor creado “, dijo Vishal Shereen, director ejecutivo y fundador de Sagence AI.
“Los dispositivos informáticos heredados de hoy en día, capaces de inferir IA de alto rendimiento, cuestan demasiado para ser económicamente viables y consumen demasiada energía para ser ambientalmente sostenibles. Nuestra misión es romper las limitaciones económicas y de rendimiento de una manera ambientalmente responsable”, agregó Sherin.
a través de Espectro IEEE
