NVIDIA es la compañía más fuerte en el sector de la inteligencia artificial gracias a todo lo invertido en sus aceleradoras, pero buena parte de su éxito se debe al plano del software disponible. Ahora la compañía ha anunciado una nueva versión de TensorRT-LLM, su modelo de lenguaje grande usado para inferencias y que por tanto ahora mmismo está orientado a inteligencias artificiales generativas como ChatGPT.
Es de código abierto por lo que este sistema se puede usar en cualquier tarjeta gráficas siempre que tenga núcleos tensoriales. Según los datos de la compañía, en sus aceleradoras como la H100 el rendimiento en inferencias —que una red neuronal descubra, por ejemplo, qué objetos hay en una foto— se duplica. Entre las técnicas usadas para la optimización se encuentra la planificación de lotes al vuelo, lo cual asegura que los recursos de la GPU se están usando siempre al máximo.
Fuente: NVIDIA. Vía: Tom's Hardware.
