Apple busca ejecutar los LLM de IA en un iPhone con mayor precisión reduciendo a la mitad el uso de RAM

Las inteligencias artificiales generativas se basan en grandes modelos de lenguaje (LLM) que intentan comportarse como un lenguaje natural usando estadísticas y probabilidades para entender el lenguaje y poder expresarse. Son redes preentrenadas que almacenan miles de millones de parámetros, y al ser computacionalmente exigentes lo normal es ejecutarlas en la nube porque un PC casero sería incapaz de ello, más por falta de memoria que de procesamiento. Apple ha publicado un documento en el que valora mover los LLM a una memoria flash, los parámetros que entiende el LLM, para luego llevar a la DRAM solo aquellos que sean necesarios.
Sigue leyendo