¿Por qué la IA Grok de Elon Musk regurgita las respuestas de ChatGPT palabra por palabra?

Esto no es un consejo de inversión. El autor no tiene posición en ninguna de las acciones mencionadas.

xAI de Elon Musk ha anunciado su modelo de lenguaje grande Grok (LLM) como el primer paso significativo hacia una “IA con la máxima búsqueda de la verdad, ”uno que comprende la verdadera naturaleza del universo. Por ahora, sin embargo, el modelo de IA parece contentarse con repetir palabra por palabra las respuestas del GPT LLM de OpenAI, lo que constituye un marcado alejamiento de los elevados objetivos generales que supuestamente forman el espíritu mismo de Grok AI.

Por ahora, Grok puede interpretar un mensaje de hasta 25.000 caracteres. El LLM ha sido entrenado no solo en The Pile (un conjunto de datos de entrenamiento de modelos de IA ubicuo) sino también en las montañas de datos provenientes de X. Además, Aparentemente, Grok puede acceder e interpretar información en tiempo real a través de su integración con la plataforma de redes sociales X.

Uhhh. Dime que Grok literalmente simplemente está copiando el código base de OpenAI jajaja. Esto es lo que sucedió cuando intenté que modificara algún malware para un compromiso con el equipo rojo. Enorme si es cierto. #GrokX pic.twitter.com/4fHOc9TVOz

— Jax Winterbourne (@JaxWinterbourne) 9 de diciembre de 2023

Esto nos lleva al meollo de la cuestión. Elon Musk anunció esta semana que el modelo Grok AI se estaba implementando para todos los suscriptores pagos de la plataforma X. Para probar este nuevo modelo, Jax Winterbourne, un hacker profesional, pidió a Grok que modificara un código malicioso. En respuesta, el LLM regurgitó la respuesta del GPT de OpenAI palabra por palabra, llegando incluso a hacer referencia a la política de OpenAI en el texto resultante.

También una posibilidad. Hay algunas teorías. – Depende de OpenAI a través de API- Desarrollado por ingenieros de OpenAI actuales/anteriores- Alucina con sus propios hallazgos- Obtuvieron el código de OpenAI e hicieron una variante.

Sinceramente, idfk, por eso tuiteé esto. quiero saber 😆

— Jax Winterbourne (@JaxWinterbourne) 9 de diciembre de 2023

Winterbourne luego plantea algunas teorías sobre por qué ocurre una regurgitación tan flagrante, que van desde la descarada sugerencia de que Grok es simplemente un derivado del GPT LLM de OpenAI hasta la explicación mucho más racional de que la respuesta regurgitada es el resultado de una alucinación modelo.

Recientemente informamos que Grok superó todos los demás LLM, incluido Claude 2 de Anthropic, con la excepción de GPT-4 de OpenAI en un formato sostenido. realizó el examen de matemáticas, obteniendo una puntuación total del 59 por ciento frente al 68 por ciento de GPT-4. Esto sugiere que el modelo de IA no es simplemente un derivado del GPT LLM de OpenAI.

La mayoría de los LLMS de código abierto responden como si fuera chatGPT y se identifican como chatGPT, principalmente porque sus salidas GPT entrenadas (para ellos es una forma sencilla de obtener muchos datos de conversación). Elon probablemente hizo lo mismo para obtener más datos de entrenamiento.

— Dharis (@Dharisssss) 9 de diciembre de 2023

En consecuencia, la explicación más probable para este comportamiento es que aparentemente Grok ha sido entrenado extensamente en las respuestas de GPT. Por lo tanto, en lugar de formular una respuesta única haciendo referencia a las políticas de xAI sobre códigos maliciosos, el LLM simplemente regurgitó la postura de OpenAI. Esto también demuestra que la generación actual de modelos de IA son simplemente iteraciones glorificadas de una habitación china: un experimento mental que postula que los modelos de IA en realidad no entender el lenguaje o pensar.