HBM vertical es la etiqueta que usan dos propuestas académicas recientes para describir una alternativa a las pilas de DRAM apiladas en altura. Los diseños V-Die (Corea) y MOSAIC (Japón) colocan los dies de memoria de canto, lo que promete más conexiones, mejor refrigeración y mayor ancho de banda en cargas de IA, aunque sus resultados todavía son preliminares.
Importa porque los aceleradores de IA actuales ya se topan con la llamada «pared de memoria»: mucha capacidad y ancho de banda son imprescindibles para modelos grandes, pero apilar DRAM hacia arriba dificulta extraer el calor y encarece la interconexión.
¿Qué aporta el HBM vertical?
Ambos proyectos comparten la idea básica: en lugar de apilar los dies en columna, ponerlos en posición vertical para exponer más superficie de silicio a la ruta de refrigeración y permitir nuevas vías de conexión. En la práctica, esto significa cambiar la física térmica y la arquitectura de I/O de la memoria.
El proyecto coreano, llamado V-Die, propone eliminar los TSVs dentro de los dies y dar a cada die su I/O en el borde inferior. Según los autores, ese enfoque permitiría cuatro veces más conexiones que una pila HBM4 equivalente y reducir el tiempo de lectura en torno al 37%. Además, V-Die incorpora microcanales de refrigeración entre dies adyacentes para llevar líquido refrigerante más cerca de la fuente de calor. En simulaciones comparadas con una configuración HBM4 de la misma capacidad, V-Die alcanzó 540 tokens/s en una carga similar a GPT-3 frente a los 296 tokens/s de HBM4, y recortó la latencia del primer token en un 32% (aprox. 24 ms).
La propuesta japonesa, MOSAIC, parte de una preocupación manufacturera: al montar dies de canto es fácil perder alineación entre cientos de superficies de contacto. Su solución es una interfaz sin contacto basada en acoplamiento inductivo. Cada die lleva pequeñas bobinas que inducen la señal en la bobina de la placa o del die vecino, evitando la necesidad de un solapamiento metal-metal perfecto. Los investigadores reportan hasta 4 Gbps por canal en su prototipo y afirman que la técnica puede doblar la capacidad comparable a HBM4 en una configuración DRAM-on-GPU sin elevar mucho la temperatura pico.
Un experimento relacionado, denominado bump-MOSAIC, usó microbumps a 100 micras de paso y obtuvo alineaciones verificadas por CT dentro de 6 micras. En esa demostración se mostró una configuración con hasta 3 veces la conductividad térmica de apilados convencionales y hasta 30% más capacidad.
Limitaciones, dudas y estado real de la tecnología
Lo que ambos equipos no aclaran todavía es si su rendimiento y ventajas térmicas aguantarán cuando escalen a capacidades comerciales y a los volúmenes de producción de la industria DRAM. Ninguno está cerca de reemplazar HBM en producción: V-Die es aún una arquitectura propuesta con prototipo pendiente, y MOSAIC tiene hardware de prueba pero no ha demostrado rendimiento, rendimiento por vatio, coste y yield a escala DRAM comercial.
Otros puntos a considerar:
- Complejidad de paquete: eliminar TSVs reduce área del die, pero obliga a rutas de señal distintas a través del sustrato. En V-Die algunas señales deben viajar más por el paquete para alcanzar el procesador.
- Refrigeración real: los datos de temperatura provienen de simulaciones y prototipos; en sistemas reales con interconexiones, underfill y disipadores, las ganancias pueden reducirse.
- Compatibilidad y coste: adaptar líneas de producción y testing a dies de canto, microcanales o interfaces inductivas requiere inversión en herramientas y procesos de prueba.
- Ancho de banda por pin: MOSAIC demuestra 4 Gbps por canal en prototipo; habrá que ver cuántos canales son necesarios y el consumo asociado.
En paralelo, los fabricantes industriales no se han quedado quietos: SK hynix ha mostrado iHBM con elementos de refrigeración integrados, y Samsung presentó un mockup HBM5 con Heat Path Block. Nvidia ya comercializa GPUs con enormes cantidades de HBM (por ejemplo, hasta 288 GB en la generación que usa HBM3E). Es decir, en la práctica la industria trata de mejorar la gestión térmica y la integración manteniendo la pila vertical tradicional.
En términos de mercado, la presión es real: la demanda de HBM para IA presiona capacidad y precios, mientras que la memoria DRAM dedicada a servidores y HBM suele ser más rentable para los fabricantes. Lo que V-Die y MOSAIC proponen responde a un problema tangible, pero no hay garantía de que su coste de implementación compense las ventajas en todos los casos de uso.
Vale la pena esperar a ver validaciones en chips reales y pruebas de fiabilidad a largo plazo antes de sacar conclusiones definitivas. Lo que sí queda claro es que las limitaciones térmicas y de interconexión de la HBM tradicional son un cuello de botella real para la siguiente generación de aceleradores de IA, y estas propuestas amplían el abanico de soluciones posibles.
