Microsoft lanza una herramienta para identificar y corregir contenido alucinógeno en resultados de IA

Azure AI Content Safety es una solución de inteligencia artificial innovadora de Microsoft diseñada para identificar contenido dañino generado por el usuario y por inteligencia artificial en diversas aplicaciones y servicios. El servicio incluye API de texto e imagen, lo que permite a los desarrolladores marcar de manera eficaz el material no deseado.

La API de detección de fundamentos, parte de Azure AI Content Safety, puede determinar si las respuestas de los modelos de lenguaje grandes se basan en materiales de origen seleccionados por el usuario. Dado que los modelos de lenguaje grandes actuales a veces producen información inexacta o no basada en hechos (a menudo denominada alucinaciones), esta API ayuda a los desarrolladores a reconocer dichas imprecisiones en los resultados de IA.

Recientemente, Microsoft anunció una vista previa de una capacidad de corrección que permite a los desarrolladores detectar y corregir contenido alucinógeno en tiempo real, lo que garantiza que los usuarios finales reciban contenido generado por IA consistentemente preciso.

Así es como funciona la función de corrección:

• El desarrollador de la aplicación activa la capacidad de corrección.
• Al detectar una oración sin fundamento, se envía una nueva solicitud al modelo de IA generativa para una corrección.
• El modelo de lenguaje grande evalúa la oración sin fundamento comparándola con el documento que la fundamenta.
• Las frases que carezcan de contenido relevante para el documento de base podrán ser filtradas por completo.
• Si se encuentra contenido en el documento de base, el modelo de base reescribe la oración no fundamentada para alinearla con el documento.

Además de la función de corrección, Microsoft también ha presentado la versión preliminar pública de Azure AI Content Safety (AACS) híbrido . Esta iniciativa permite a los desarrolladores implementar medidas de seguridad de contenido tanto en la nube como en el dispositivo. El SDK integrado de AACS facilita las comprobaciones de seguridad de contenido en tiempo real directamente en los dispositivos, incluso sin conexión a Internet.

Además, Microsoft presentó la versión preliminar de Protected Materials Detection for Code , que se puede utilizar con aplicaciones de IA generativa que producen código para identificar si el LLM ha generado algún código protegido. Esta función, a la que inicialmente solo se podía acceder a través del servicio Azure OpenAI, ahora está disponible para su integración con otros modelos de IA generativa que generan código.

Estas actualizaciones mejoran significativamente la confiabilidad y accesibilidad de las tecnologías de moderación de contenido de IA, fomentando aplicaciones de IA más seguras y confiables en una variedad de plataformas y entornos.

Fuente