La memoria de alto ancho de banda (HBM) ha sido un tipo de memoria con una producción muy limitada por parte de Samsung y SK Hynix. Su desarrollo se realizó por estas dos además de AMD, y era un tipo de memoria con la que creía que obtendría un rendimiento mucho mayor en tarjetas gráficas. El problema es que los costes de integración son mayores, porque tiene que encapsularse pegada a la GPU, y la GDDR ha evolucionado hasta el punto de que la HBM en el sector consumo no sirve. Pero ante el auge de demanda de 2023, el precio de la HBM se habría quintuplicado, según la firma Yolo Group.
Samsung y SK Hynix llevan aumentando la producción de HBM desde principios del año pasado, en torno a un 45 %, y en parte esa sobredemanda es la que ha salvado a las compañías de un desastre mayor ante el desplome de demanda de NAND y DRAM que ocurrió entre mediados de 2022 y mediados de 2023. Además, entre ambas acaparan más del 90 % de la producción porque, bueno, lo desarrollan y evolucionan juntas, y llevan mucha ventaja a cualquier competidor nuevo que quiera entrar.
La actual ventaja de la HBM es la de poder integrar más de cien gigas de memoria sin ocupar mucho espacio, a diferencia de la GDDR, que además necesita un circuito más complejo de control. Tiene menor latencia en cargas de cómputo, lo cual es otra ventaja importante, aunque no en todas las cargas de trabajo que se usan en centros de datos. Pero lo que también permite es un ancho de banda muchísimo mayor al combinar varios chips de HBM, que en HBM3E es de 1 TB/s por chip.