El avance en inteligencia artificial está siendo tan rápido que realmente los investigadores no hay tenido tiempo de saber realmente cómo funcionan las redes neuronales que están creando. Lo cual se puede resumir a que están funcionando de pura suerte en base a la teoría y sin saber bien cómo funcionan en la práctica. Un artículo publicado por OpenAI, la creadora de la red neuronal GPT-4 usada en ChatGPT y la versión de IA de Bing. Las redes neuronales son actualmente una caja negra para los investigadores, que funciona porque le preguntas cosas y te da respuestas, pero no se sabe cómo funcionan internamente o cómo llegan a las decisiones que lleguan.

Una red neuronal está compuesta por neuronas, que procesa una información de entrada y produce una salida que será tomada por otra neurona. Un circuito es un conjunto de neuronas que se comunican entre sí tomando decisiones entre todas. Por último, una capa de atención es un mecanismo que ayuda a la red neuronal a reconocer lo más importante de una información de entrada, ponderando las partes para facilitar la toma de decisiones. En el caso de los modelos de lenguaje grandes (LLM) usados por GPT-4, se trata de la ponderación de las palabras de un texto.

En el artículo de OpenAI, que es una web interactiva, se intenta explicar cómo GPT-4 ayuda a ver cómo funciona la red neuronal GPT-2 XL. Lo hace mostrando la información de las capas de atención que intervienen en el procesamiento del texto y las neuronas específicas que se activan. Cada neurona tiene un cometido que OpenAI intenta explicar brevemente, como aquellas relacionadas con el procesamiento de número, conjunciones copulativas y términos adyacentes, adjetivos específicos como los que expresan cualidades únicas, etc.

Tras ello, se usa GPT-4 para simular la respuesta que tendría que dar GPT-2, tras lo cual se hace una comparación entre lo proporcionado y lo simulado. A partir de ahí, OpenAI puede comparar entre distintos LLM entrenados, distintas capas de atención, para ver qué neuronas se activan en cada procesamiento y entender mejor cómo se están tomando las decisiones colectivas a la hora de interpretar los textos. O sea, OpenAI ha metido en este proceso de verificación el modelo que interpreta el texto, el modelo que intenta explicar el comportamiento y cómo funciona el modelo que interpreta el texto, y un modelo creado en base al anterior para contrastarlo con el modelo original. De ello sale una puntuación usada para comparar la diferencia entre el funcionamiento real y el teórico de la red neuronal.

Al final el entrenamiento de una red neuronal es una gran caja negra que se va construyendo a medida que se les introduce información para su entrenamiento, lo cual va creando neuronas, circuitos y capas de atención en base a decisiones propias. No se sabe cómo ni por qué ese conjunto de neuronas toman las decisiones que toman, cómo cada neurona va refinando la decisión de las anteriores, y cómo se llega a la decisión final de la red neuronal, que es lo que OpenAI intenta comprender.

Por encima de esa red neuronal habrá una serie de indicaciones para poder filtrar el contenido que daría como respuesta, evitando lenguaje soez o impertinencias por parte de la IA, algo que ha ocurrido durante los primeros pasos de Bard o ChatGPT y que tanto OpenAI/Microsoft y Google han ido limitando. Pero los investigadores siguen sin saber exactamente cómo y por qué estas IA que están desarrollando toman las decisiones que toman. Irlo entendiendo lleva a poder crear unas IA con mayor capacidad de razonamiento, acelerar sus respuestas, y que puedan hacerlo de manera más precisa.

Fuente: OpenAI. Vía: Ars Technica.