DALL-E2 es un generador de texto a imagen de autoaprendizaje lanzado en enero de 2022, su función principal es usar indicaciones de texto proporcionadas por los usuarios y producir una imagen para que coincida con las palabras junto con los subtítulos.
Sin embargo, según el estudiante de doctorado en Ciencias de la Computación Giannis Daras, una de las limitaciones de DALL-E2 ha tenido la capacidad de producir texto, ya que solo puede devolver palabras sin sentido cuando se le solicita.
En un artículo publicado en el archivo científico, Arxiv , a principios de este mes, Daras proporcionó un ejemplo de esta limitación, afirmando que al alimentar el programa con el mensaje "dos granjeros hablando de verduras, con subtítulos" se devuelve una imagen que tiene a dos granjeros hablando entre ellos mientras sostienen algunas verduras en sus manos, pero el texto que aparece en la imagen parece ser un completo galimatías.
Pero los investigadores ahora se han dado cuenta de que podría haber mucho más en las palabras aparentemente incomprensibles del programa. “Descubrimos que esta salida de texto producida no es aleatoria, sino que revela un vocabulario oculto que el modelo parece haber desarrollado internamente”, escribió Daras.
También proporcionó otro ejemplo: pedirle al programa que produzca "una imagen de la palabra avión" a menudo conduciría a imágenes generadas que representaban un texto incomprensible. Sin embargo, devolver ese texto a la IA con frecuencia resultó en imágenes de aviones.
La hipótesis de Daras es que la IA parece haber desarrollado su propio vocabulario y asignado significado a ciertas palabras que ella misma había producido, como en el caso de los granjeros, que hablaban de verduras y aves.
Pero aunque puede ser impresionante, Daras no parece estar muy entusiasmado con la idea y dice que si tiene razón sobre la capacidad de la IA para producir su propio idioma, podría plantear serios desafíos de seguridad para el generador de texto a imagen.
“El primer problema de seguridad se relaciona con el uso de estos mensajes incomprensibles como ataques adversarios de puerta trasera o formas de eludir los filtros”, escribió en su artículo. "Actualmente, los sistemas de procesamiento de lenguaje natural filtran las indicaciones de texto que violan las reglas de la política y se pueden usar indicaciones incoherentes para eludir estos filtros".
“Más importante aún, las indicaciones absurdas que generan imágenes constantemente desafían nuestra confianza en estos grandes modelos generativos”, agregó.
Sin embargo, el artículo de Daras aún no ha sido revisado por pares y algunos investigadores han cuestionado sus hallazgos, y uno afirma que la IA no siempre parece funcionar de la manera descrita.
El analista de investigación Benjamin Hilton dice que le pidió al generador que mostrara a dos ballenas hablando de comida, con subtítulos. Al principio, DALL-E2 no pudo devolver ningún texto descifrable, por lo que el investigador siguió adelante hasta que finalmente lo hizo.
Hilton declaró que “'Evve waeles' es una tontería o una corrupción de la palabra 'ballenas'. Giannis tuvo suerte cuando sus ballenas dijeron 'Wa ch zod rea' y eso generó imágenes de comida". Agregó que algunas frases, como "renderización 3D”, a menudo daban resultados completamente diferentes, lo que sugiere que no significan exactamente lo mismo.
Sin embargo, Hilton admitió que una revisión por pares adecuada del artículo de Daras podría revelar mucho más e insistió en que aún podría haber algo en sus afirmaciones, ya que la frase incomprensible "Apoploe vesrreaitais" constantemente muestra imágenes de pájaros.
DALL-E2 no es la primera IA que muestra signos de desarrollo de un idioma, anteriormente Google Translate AI, que usa una red neuronal para traducir entre algunos de los idiomas más populares, parecía haber creado también su propio vocabulario artificial que usaba para traducir entre idiomas en los que no fue entrenado explícitamente.
La IA de Facebook también parecía haber desarrollado una forma de comunicación interna, luego de que dos chatbots comenzaran a hablar de una manera que era completamente incomprensible para los humanos. De hecho, avanzó tanto que los investigadores decidieron desconectarlo antes de que pudiera desarrollarse más.
Los programadores de Facebook insistieron en que querían que los bots de IA hablaran en inglés para que otros usuarios pudieran entenderlos y notaron que los humanos nunca podrían mantenerse al día con la evolución de un lenguaje generado por IA.
