El servicio Microsoft Azure OpenAI ahora ofrece detección en tiempo real de solicitudes abusivas

En los últimos meses, ha habido informes de usuarios que han utilizado con éxito servicios de IA generativa para eludir las restricciones de contenido y crear contenido. Un caso notable ocurrió a principios de este año cuando circularon en las redes sociales imágenes explícitas de deepfake de la artista pop Taylor Swift. Estas imágenes supuestamente fueron producidas por un grupo que utiliza mensajes de texto específicos en el generador de imágenes de IA Microsoft Designer.

Hoy, Microsoft presentó una vista previa pública de una nueva característica disponible en su servicio Azure OpenAI. Este servicio permite a las empresas y organizaciones utilizar los modelos de IA generativa de OpenAI a través de los servidores en la nube Azure de Microsoft. La función «Monitoreo de riesgos y seguridad» introducida recientemente tiene como objetivo proporcionar a las empresas una descripción general en vivo del uso de sus sistemas de inteligencia artificial e identificar cualquier intento de uso indebido por parte de los individuos.

Según una publicación de blog reciente, Microsoft ha introducido una función que puede mostrar datos sobre varias solicitudes de usuarios finales en sus servicios de inteligencia artificial que se consideran inseguros. Estas solicitudes abarcan:

• Recuento total de solicitudes bloqueadas y tasa de bloqueo
• Distribución de solicitudes bloqueadas por categoría
• Tasa de bloqueo a lo largo del tiempo por categoría
• Distribución de gravedad por categoría
• Recuento y tasa de solicitudes bloqueadas de la lista de bloqueo

Con esta información, las empresas pueden modificar sus barreras de seguridad de contenido de IA para garantizar que sus servicios no se utilicen de manera que vaya en contra de sus pautas.

Además, existe una función que ayuda a las empresas a identificar a los usuarios que envían repetidamente solicitudes abusivas o perjudiciales a sus servicios de inteligencia artificial. Microsoft afirma:

Si algún contenido de un usuario se marca como dañino y combina el comportamiento de solicitud del usuario, el sistema juzgará si el usuario es potencialmente abusivo o no. Luego, un informe resumido estará disponible en Azure OpenAI Studio para tomar medidas adicionales.

La empresa tiene la capacidad de modificar su sistema de acuerdo con su propio conjunto de reglas y regulaciones para protegerse contra posibles infracciones causadas por estos problemáticos usuarios finales.

Los clientes de las regiones Este de EE. UU., Norte de Suiza, Centro de Francia, Centro de Suecia y Este de Canadá pueden acceder a las capacidades de monitoreo agregadas recientemente para el Servicio Azure OpenAI. Actualmente no está claro cuándo esta vista previa pública se extenderá a más países o estará disponible de forma generalizada.