Los modelos de IA entrenados con datos generados por IA pueden colapsar y producir "tonterías"

Las inteligencias artificiales generativas que son entrenadas por otras inteligencias artificiales pueden acabar provocando defectos irreversibles y contaminar los resultados con contenidos sin sentido.

Un artículo que publica Nature pone énfasis en la importancia de utilizar datos fiables para entrenar los modelos de IA, pues el uso de la misma IA para ese cometido puede provocar en pocas generaciones que el contenido original sea sustituido por "tonterías sin relación" con el original.

El uso de conjuntos de datos generados por IA para entrenar futuras generaciones de modelos de aprendizaje automático puede contaminar sus resultados, un concepto conocido como "colapso del modelo", indica el estudio encabezado por la Universidad de Oxford.

El trabajo define el colapso del modelo como un proceso degenerativo que afecta a generaciones de modelos de IA, en el que sus datos sesgados acaban contaminando a la generación siguiente. Al haber sido entrenados con datos contaminados, estos perciben erróneamente la realidad.

De arquitectura a liebres

Uno de los ejemplos que muestra el estudio es una prueba con un texto sobre arquitectura medieval como entrada original. En la novena generación de IA, el resultado fue una lista de liebres norteamericanas.

Los autores proponen que el colapso del modelo es un resultado inevitable de los modelos de IA que utilizan conjuntos de datos de entrenamiento creados por generaciones anteriores.

Las herramientas de IA generativa, como los grandes modelos lingüísticos (LLM), han ganado popularidad y se han entrenado principalmente utilizando entradas generadas por humanos.

Sin embargo, a medida que estos modelos siguen proliferando en internet, los contenidos generados por ordenador pueden utilizarse para preparar otros modelos de IA -o a sí mismos- en un bucle recursivo.

"Comprobamos que el uso indiscriminado de contenidos generados por modelos en el entrenamiento provoca defectos irreversibles en los modelos resultantes, en los que desaparecen las colas de la distribución original de contenidos", indica el estudio

El equipo demostró que una IA puede pasar por alto ciertos resultados en los datos de entrenamiento, lo que hace que aprenda solo de una parte del conjunto de datos.

Además, alimentar un modelo con datos generados por IA hace que las generaciones siguientes degraden su capacidad de aprendizaje, lo que acaba provocando el colapso del modelo. Entrenar una IA con datos generados por otra IA no es imposible, pero "hay que tomarse en serio el filtrado de esos datos".

A pesar de ello, las empresas tecnológicas que confían en los contenidos generados por humanos pueden ser capaces de entrenar modelos de IA más eficaces que sus competidores, agregan.

Otros expertos opinan

Comentando los resultados del estudio, en el que no participó, el catedrático de Ingeniería de Sistemas y Automática en la Universidad del País Vasco Víctor Etxebarria califica la investigación de "excelente".

Las IA son entrenadas con enormes cantidades de datos presentes en internet, producidos por personas que tienen derechos legales de autoría de su material. Para evitar demandas o ahorrar costes las empresas tecnológicas utilizan datos generados por sus propias IA para seguir entrenando sus máquinas.

"Este procedimiento cada vez más generalizado hace que las IA no sirvan para ninguna función realmente fiable -indicó Etxebarria-. Ello transforma las IA en herramientas no solo inútiles para ayudarnos a solucionar nuestros problemas, sino que pueden ser nocivas, si basamos nuestras decisiones en información incorrecta".

El efecto que los autores proponen llamar colapso del modelo es cierto: los modelos de lenguaje de gran tamaño realmente colapsan (dejan de funcionar, responden mal, dan información incorrecta). Se trata de un efecto estadístico perfectamente demostrado en el artículo", explicó Etxebarria citado por Science Media Centre, una plataforma de recursos científicos para periodistas.

El estudio es "muy interesante, de buena calidad, pero su valor es sobre todo a nivel teórico", dijo, por su parte Andreas Kaltenbrunner, de la Universitat Oberta de Catalunya.

"Sus conclusiones parten de la asunción de que en futuros entrenamientos únicamente se usan datos generados por modelos de IA", pero en un escenario real siempre habrá también una parte de datos generados por humanos. El investigador consideró que "no está claro cuál sería el resultado" si se mezclan datos generados por humanos con otros hechos por IA y todavía menos qué pasaría si además se añaden datos (cada vez más frecuentes) generados de forma híbrida entre IA y humanos.