Google dice que sucedieron dos cosas que causaron problemas en el generador de imágenes Gemini AI de esta semana

A principios de esta semana, la gente comenzó a informar que la función de generación de imágenes en el chatbot Gemini (anteriormente Bard) de Google estaba creando obras de arte inapropiadas. Más específicamente, el sistema representaba a personas con colores de piel oscuros en roles históricos o ficticios que no eran apropiados para esos personajes.

Después de que se informó sobre el arte, Google anunció que cerraría temporalmente la capacidad de Gemini para crear obras de arte de personas con su generador de imágenes. A última hora del viernes, la compañía ofreció una explicación de lo sucedido con Gemini en una publicación de blog .

Tampoco quería que el chatbot creara imágenes de personas reales.

Al mismo tiempo, Google también quería permitir que Gemini representara una variedad de etnias si una persona le pedía al chatbot imágenes más generales, como mostrar personas en un equipo de fútbol. Si una persona quisiera que se representara un tipo específico de persona, como un médico blanco o un maestro negro, Géminis también debería poder hacer esa obra de arte.

Raghavan luego escribió que dos cosas específicas en las barreras de seguridad de mensajes de texto de Gemini permitieron que se crearan las imágenes inapropiadas de esta semana:

En primer lugar, nuestro ajuste para garantizar que Géminis mostrara una variedad de personas no tuvo en cuenta los casos que claramente no deberían mostrar una variedad. Y en segundo lugar, con el tiempo, el modelo se volvió mucho más cauteloso de lo que pretendíamos y se negó a responder ciertas indicaciones por completo, interpretando erróneamente algunas indicaciones muy anodinas como sensibles.

Estas dos cosas llevaron al modelo a sobrecompensar en algunos casos y a ser demasiado conservador en otros, dando lugar a imágenes embarazosas y erróneas.

No se sabe cuánto tiempo tardará Google en arreglar sus barreras de seguridad para que se vuelva a activar la creación de arte con personas en el generador de imágenes Gemini. Raghavan afirmó que, si bien no puede prometer que Gemini nunca hará obras de arte ofensivas, Google «seguirá tomando medidas cada vez que identifiquemos un problema».