Micron ha comenzado a distribuir entre sus clientes los primeros paquetes de memoria SOCAMM2 de 256 GB, un avance significativo que pone al alcance de los centros de datos capacidades de hasta 2 TB de memoria RAM por CPU. Esta novedad cobra especial relevancia en el entorno actual, donde la demanda de recursos para inteligencia artificial (IA) no para de crecer y la capacidad de memoria es un factor clave para optimizar el rendimiento de los modelos.
Memoria SOCAMM2 de 256 GB: más capacidad y eficiencia energética para la IA
El aumento del 33% en la capacidad de estos módulos respecto a las versiones anteriores, lanzadas hace apenas seis meses con 192 GB, representa un salto notable. Micron destaca no solo la mayor densidad, sino también una mejora del 66% en eficiencia energética frente a los módulos RDIMM convencionales. Además, estos nuevos paquetes de memoria están diseñados para ser compatibles con sistemas de refrigeración líquida, cada vez más comunes en servidores destinados a aplicaciones de IA.
Estos módulos SOCAMM2 emplean la tecnología de circuitos monolíticos de 32 Gb (4 GB) basados en LPDDR5X, una arquitectura que integra toda la memoria y los circuitos necesarios en un único chip. Esta consolidación facilita una mayor densidad y una gestión más eficiente del consumo eléctrico, aspectos esenciales para entornos de alta intensidad computacional.
El impacto práctico de disponer de hasta 2 TB de memoria RAM por procesador es significativo. Por ejemplo, un rack Nvidia NVL72, equipado con 36 CPUs, podría montar un total de 72 TB de memoria, lo que se traduce en la capacidad de manejar modelos de IA con ventanas de contexto más amplias. Esto contribuye a reducir el denominado TTFT (Time To First Token), es decir, acelera el tiempo en que los modelos generan sus primeras respuestas.
La colaboración tras el desarrollo del estándar SOCAMM2
El formato SOCAMM2 surge de una colaboración entre Nvidia y fabricantes de memoria como Micron, Samsung y SK hynix. Nvidia había identificado limitaciones en la primera versión del estándar SOCAMM, ante la dificultad de evitar el sobrecalentamiento en servidores de alta densidad. La cooperación con expertos en memoria ha permitido superar estos obstáculos, resultando en módulos que combinan mayor densidad y menor consumo energético.
Este enfoque conjunto es una muestra clara de que la evolución en los centros de datos para IA no depende únicamente de los aceleradores de cálculo, sino también de la arquitectura de memoria que los soporta. Cuanta mayor sea la capacidad y eficiencia de memoria cercana a los xPUs, más posibilidades existen para desplegar modelos complejos sin penalizaciones en latencia o consumo.
En un contexto en el que la inversión en infraestructura para IA se calcula en cientos de miles de millones de dólares a nivel global, estas mejoras suponen un elemento más dentro de la carrera por la supremacía tecnológica. La memoria SOCAMM2 de 256 GB hará probable que grandes instalaciones puedan gestionar cargas de trabajo más exigentes y respondiendo con mayor rapidez, un aspecto determinante para la competitividad en esta industria.
Este avance de Micron marca un paso relevante en la evolución de la memoria para centros de datos, apuntando a un futuro donde la integración eficiente y sostenible de grandes volúmenes de RAM será imprescindible para afrontar los retos que plantea la inteligencia artificial a gran escala.
