• Kioxia presenta un nuevo proyecto llamado AiSAQ que quiere sustituir la RAM por SSD para el procesamiento de datos con inteligencia artificial
  • Los SSD más grandes (léase: más de 100 TB) pueden mejorar RAG a un costo menor que usar solo memoria
  • No se dio un cronograma, pero se espera que los rivales de Kioxia ofrezcan tecnología similar.

Los grandes modelos lingüísticos a menudo producen resultados plausibles pero objetivamente incorrectos; en otras palabras, inventan cosas. Estas “alucinaciones” pueden dañar la credibilidad en tareas de información críticas como el diagnóstico médico, el análisis jurídico, la presentación de informes financieros y la investigación científica.

La generación aumentada de recuperación (RAG) mitiga este problema al integrar fuentes de datos externas, lo que permite a los LLM acceder a información en tiempo real durante la generación, reducir errores y basar los resultados en datos actuales, mejorando la precisión contextual. La implementación eficiente de RAG requiere importantes recursos de memoria y almacenamiento, y esto es especialmente cierto para métricas y datos vectoriales a gran escala. Tradicionalmente, estos datos se almacenaban en DRAM, que, si bien es rápida, es costosa y tiene una capacidad limitada.

Source link