Microsoft Azure AI Content Safety presenta métodos avanzados para la detección de contenido dañino

Hoy, Microsoft ha hecho anuncios importantes en relación con las funciones de seguridad de la IA generativa. Entre ellas, se ha presentado una nueva herramienta dentro del marco de Azure AI Content Safety , destinada a detectar y rectificar el contenido alucinógeno generado por la IA. Además, Microsoft reveló que su servicio Azure OpenAI comenzará a implementar marcas de agua invisibles en las imágenes generadas a través del modelo DALL-E 3.

Además, Microsoft sigue centrándose en la seguridad de la IA con la versión preliminar pública de su innovadora API multimodal dentro del servicio Azure AI Content Safety. Esta API está diseñada para identificar contenido dañino o inapropiado, ya sea que provenga de creadores humanos o de herramientas de IA.

Según una publicación del blog de Microsoft:

La API multimodal admite entradas de texto e imágenes. Está diseñada para la detección de múltiples clases y niveles de gravedad, lo que le permite clasificar el contenido en varias categorías y asignar un puntaje de gravedad a cada una. Para cada categoría, el sistema proporciona un nivel de gravedad que va de 0, 2, 4 y 6. Un número más alto significa una mayor gravedad del contenido.

Esta nueva API multimodal puede identificar contenido dañino tanto en texto como en imágenes, incluidos emojis, que pueden contener contenido inapropiado o peligroso. Esto incluye contenido explícito, discurso de odio, violencia, autolesiones y contenido sexual. Microsoft enfatiza que la API puede detectar este tipo de contenido, incluso cuando aparece en una combinación de texto e imágenes, que de otro modo podrían ser benignos si se analizaran individualmente.

En su comunicado, Microsoft destacó:

Al lograr estos objetivos, la función de detección multimodal promueve una experiencia de usuario más segura y respetuosa, permitiendo la generación de contenido creativo pero responsable.

Además, Microsoft señaló que la nueva API multimodal es capaz de detectar rápidamente contenido dañino, garantizando que no se difunda a los usuarios de diversas aplicaciones o servicios.

Fuente