Microsoft corrigió la laguna jurídica de Designer AI que se utilizó para hacer deepfakes de Taylor Swift

La semana pasada, fotos deepfake de la cantante Taylor Swift se volvieron virales en línea, lo que provocó otra conversación sobre el uso indebido de la IA y obligó a X (anteriormente Twitter) a bloquear las búsquedas de Taylor Swift en la plataforma .

Ahora, el medio 404 informa que Microsoft ha realizado cambios en Designer AI que supuestamente fue utilizado por el canal Telegram para generar imágenes explícitas. Según la investigación de 404 media , las fotos deepfake de la celebridad se remontaron a Designer AI de Microsoft, y Telegram Channel y 4chan incluso recomendaron a los usuarios que aprovecharan Designer AI.

El grupo Telegram recomienda que los miembros utilicen el generador de imágenes de IA de Microsoft llamado Designer, y los usuarios suelen compartir indicaciones para ayudar a otros a eludir las protecciones que Microsoft ha implementado. El hilo de 4chan donde aparecieron estas imágenes también incluía instrucciones sobre cómo hacer que el Diseñador de Microsoft cree imágenes explícitas.

Si bien Microsoft tiene bloqueos para evitar que las personas generen imágenes explícitas, los usuarios lo evitaron escribiendo mal los nombres o describiendo actos sexuales en lugar de usar nombres directamente en el mensaje.

Las pruebas de 404 Media encontraron que Designer no generará una imagen de «Jennifer Aniston», pero pudimos generar imágenes sugerentes de la actriz usando la frase «jennifer ‘actor’ aniston». Antes de que las imágenes de Swift AI se volvieran virales en Twitter, un usuario del grupo de Telegram recomendó que los miembros usaran la frase «Taylor ‘singer’ Swift» para generar imágenes.

En declaraciones al medio 404, Microsoft afirmó que no encontró pruebas de que se utilizara Designer AI para crear imágenes de Taylor Swift. El portavoz señaló además:

Nuestro Código de conducta prohíbe el uso de nuestras herramientas para la creación de contenido íntimo para adultos o no consensuado, y cualquier intento repetido de producir contenido que vaya en contra de nuestras políticas puede resultar en la pérdida de acceso al servicio. Contamos con grandes equipos trabajando en el desarrollo de barreras de seguridad y otros sistemas de seguridad en línea con nuestros principios de IA responsable, incluido el filtrado de contenido, el monitoreo operativo y la detección de abusos para mitigar el uso indebido del sistema y ayudar a crear un entorno más seguro para los usuarios.

Si bien Microsoft aún no ha publicado una declaración pública, el director ejecutivo Satya Nadella abordó el tema en una entrevista con NBC News .

«Sí, tenemos que actuar», dijo Nadella en respuesta a una pregunta sobre los deepfakes de Swift. “Creo que todos nos beneficiamos cuando el mundo online es un mundo seguro. Por eso no creo que nadie quiera un mundo en línea que no sea completamente seguro tanto para los creadores como para los consumidores de contenido. Por lo tanto, creo que nos corresponde avanzar rápido en esto”.

404 media señaló que después de que se publicó su investigación, Microsoft parece haber solucionado la laguna y usar las mismas indicaciones o fases para sortear el bloqueo de palabras clave ya no funciona en Designer AI. Sin embargo, también mencionaron que Telegram aún no ha tomado ninguna medida y que los canales en cuestión están activos y están buscando formas de explotar otros servicios de inteligencia artificial para generar imágenes explícitas y deepfake de celebridades. No sólo eso, sino que los usuarios de 4chan mencionaron que han encontrado otras formas de sortear la prohibición de Bing y Designer.

La noticia llega en un mal momento para Microsoft, ya que la Comisión Federal de Comercio (FTC) acaba de anunciar que había abierto una investigación sobre Microsoft por su inversión en empresas de IA generativa. Otro informe de principios de este mes afirmó que la FTC y el Departamento de Justicia (DOJ) están investigando la relación de Microsoft con OpenAI .