El artículo del que trataremos (escrito por Zeyang Sha, Zheng Li, Ning Yu, Yang Zhangpone) pone su enfoque en la detección y atribución de imágenes falsas generadas a partir de texto mediante técnicas de machine-learning. Los autores proclaman haber conseguido buenos resultados no solo en la clasificación de las imágenes como falsas o verdaderas, sino también en la atribución de estas al modelo generativo que se usó. Durante los últimos meses, modelos como los que se sometieron a estudio aquí como DALL·E 2, Stable Diffusion, GLIDE, and Latent Diffusion han tenido grandes avances y son capaces de generar imágenes de alta calidad, a diferencia de los modelos tradicionales basados normalmente en GAN’s, donde las imágenes resultantes solían presentar artefactos u otras anomalías que hacían a la imagen claramente reconocible por el ojo humano como falsa.
Finalidad de la investigación
El objetivo de la investigación consiste en responder las que ellos nombran como las Research Questions (RQ para abreviar).
- RQ1: Detección de imágenes falsas generadas por texto.
- RQ2: Atribución de las imágenes falsas al modelo que las generó.
- RQ3: Encontrar que tipo de prompts son más proclives a generar mejores resultados.
A continuación, abordaremos los resultados que se obtuvieron para cada una de las RQ
Research Question 1
Para la identificación de imágenes falsas se entrena un clasificador binario. Con tal de hacer el estudio lo más general posible, se entrenó al clasificador con imágenes generadas por un solo modelo y se probó con imágenes generadas por otros modelos. Para el entrenamiento, se usaron dos métodos distintos, el ya tradicional con solamente la imagen, y el
que los autores denominan método híbrido, donde el entrenamiento se realiza no solo teniendo en cuenta la imagen en sí, sino también el prompt correspondiente a ellas.
El resultado obtenido indica que, efectivamente, el modelo entrenado junto con los prompts mejora notablemente al que es entrenado únicamente con imágenes. Además, sobre este último, su eficiencia depende significativamente del modelo generativo del que provienen las imágenes, mientras que los detectores híbridos se mantienen más robustos en este sentido.
Research Question 2
Recordemos, el objetivo de esta RQ es ser capaces de atribuir las imágenes falsas a los modelos que la generaron. Para lograrlo, se explota la llamada fingerprint (huella dactilar) del modelo. De la misma forma que toda cámara de fotos deja su huella en las imágenes que capta debido a imperfecciones del cristal, ruido interno, etc. Los modelos generativos también dejan su fingerprint en sus creaciones. Ésta se puede buscar de dos formas: mediante artefactos comunes en las imágenes generadas por el mismo modelo y, la otra, es a través del espectro de frecuencias de las imágenes, queriendo decir esto que la forma en la que cada modelo genera sus imágenes es distinta y, esto se puede explotar para la
atribución de las mismas a sus modelos generadores. El éxito conseguido por el modelo híbrido supera ligeramente el 90 %, mientras que el que utiliza únicamente imágenes se queda alrededor del 85 %.
Research Question 3
Para esta última RQ, no se desarrollaron modelos de inteligencia artificial, más bien, se realizó un análisis semántico de las sentencias que se fueron usando para generar imágenes y comprobar su calidad. Se clasificaron un total de 80 grupos, donde los resultados fueron que las sentencias en las que aparecían personas generan mejores resultados, junto con otros temas en las que suelen estar envueltas también personas tales como el esquí.
Respecto a la longitud de las instrucciones, notaron que las que contenían entre 25 y 75 palabras eran las que resultan en imágenes de más calidad, una descripción más corta no proporciona los suficientes detalles y una más larga contiene demasiados para crear una imagen que parezca natural.