- Kioxia presenta un nuevo proyecto llamado AiSAQ que quiere sustituir la RAM por SSD para el procesamiento de datos con inteligencia artificial
- Los SSD más grandes (léase: más de 100 TB) pueden mejorar RAG a un costo menor que usar solo memoria
- No se dio un cronograma, pero se espera que los rivales de Kioxia ofrezcan tecnología similar.
Los grandes modelos lingüísticos a menudo producen resultados plausibles pero objetivamente incorrectos; en otras palabras, inventan cosas. Estas “alucinaciones” pueden dañar la credibilidad en tareas de información críticas como el diagnóstico médico, el análisis jurídico, la presentación de informes financieros y la investigación científica.
La generación aumentada de recuperación (RAG) mitiga este problema al integrar fuentes de datos externas, lo que permite a los LLM acceder a información en tiempo real durante la generación, reducir errores y basar los resultados en datos actuales, mejorando la precisión contextual. La implementación eficiente de RAG requiere importantes recursos de memoria y almacenamiento, y esto es especialmente cierto para métricas y datos vectoriales a gran escala. Tradicionalmente, estos datos se almacenaban en DRAM, que, si bien es rápida, es costosa y tiene una capacidad limitada.
Para enfrentar estos desafíos, servir el hogar Se informa que en el CES de este año, el gigante japonés de la memoria Kioxia presentó AiSAQ – Búsqueda de vecino más cercano (ANNS) aproximada de almacenamiento completo con cuantificación de producto – que utiliza SSD de alta capacidad para almacenar datos vectoriales y métricos. Kioxia afirma que AiSAQ reduce significativamente el uso de DRAM en comparación con DiskANN, ofreciendo un enfoque más rentable y escalable para admitir grandes modelos de IA.
Más accesible y económico
Pasar al almacenamiento basado en SSD permite manejar conjuntos de datos más grandes sin los altos costos asociados con el uso generalizado de DRAM.
Si bien el acceso a los datos desde SSD puede introducir una ligera latencia en comparación con la DRAM, la compensación incluye menores costos del sistema y una mejor escalabilidad, lo que puede respaldar un mejor rendimiento y precisión del modelo, ya que conjuntos de datos más grandes proporcionan una base más rica para el aprendizaje y la inferencia.
Al utilizar SSD de alta capacidad, AiSAQ aborda los requisitos de almacenamiento de RAG y al mismo tiempo contribuye al objetivo más amplio de hacer que las tecnologías avanzadas de IA sean más accesibles y rentables. Kioxia no ha revelado cuándo planea llevar AiSAQ al mercado, pero es seguro apostar que rivales como Micron y SK Hynix tendrán algo similar en proceso.
servir el hogar Concluye: “Hoy en día todo es IA, y Kioxia también está impulsando eso. Siendo realistas, RAG será una parte importante de muchas aplicaciones, y si hay una aplicación que necesita acceder a una gran cantidad de datos, pero no se utiliza, A menudo, esa sería una gran oportunidad para algo como Kioxia AISAQ”.