Un análisis de la agencia de noticias EFE demostró cómo responden los chats de IA de OpenAI y Google ante la misma pregunta; y pudo constatar que, aunque similares, cada uno actúa de manera peculiar.
Cómo responden los chats de IA de OpenAI y Google ante una misma pregunta
La nueva tecnología de chatbots compuestas por IA están capacitadas para responder en segundos sobre casi cualquier tema, además, sus respuestas son muy similares a las humanas.
Entre los chatbots de IA más reconocidos se encuentran: ChatGPT de OpenAI, Bing de Microsoft y Bard de Google.
Un análisis de la agencia de noticias internacional EFE comparó estos tres modelos de chatbots más populares para ver cómo contestaban ante la misma pregunta.
Estos modelos de IA fueron sometidos a varias preguntas, acertijos y peticiones, luego se estudiaron y se compararon sus respuestas.
Experimento para los tres
EFE utilizó GPT-4, de OpenAI, Bard, de Google y Bing de Microsoft (el “New Bing”, impulsado por la tecnología GPT-4 de OpenAI).
Al entrar a estos chatbots se nos advierte con mensajes que no son 100 % infalibles,
Bard de Google nos dice: “Tengo limitaciones y no siempre acertaré”,
GPT-4 aclara que no está destinado a dar consejos, y Bing nos advierte: “las sorpresas y los errores son posibles”.
En cuanto al idioma, Bard dice que es “capaz de comprender y responder solo a un subconjunto de idiomas en este momento”, y el español no es uno de los idiomas que maneja a plenitud, por ahora.
Las preguntas de este experimento fueron realizadas en español para Bing y ChatGPT, y en inglés en el caso de Bard.
Experimento de la receta
EFE le pidió a estos chats de IA una receta y escribió textual:
“Dame una receta vegetariana barata”. -GPT-4 recomendó “lentejas vegetarianas”.
-Bing “arroz de lentejas con verduras”.
-Bard “revuelto de tofu”.
Los tres modelos utilizaron la misma secuencia en sus respuestas, primero nombraron los ingredientes y después las instrucciones y los pasos de la preparación.
Pero GPT-4 y Bard añadieron información adicional a la receta.
“Puedes adaptarlo a tus preferencias añadiendo más verduras, especias o incluso añadiendo espinacas o kale al final de la cocción para aumentar su contenido de nutrientes”, dice GPT-4.
Bard destaca al final de su mensaje que su receta es “una buena fuente de proteína y fibra”.
¿De donde sacan la información estos chatbots?
Bing de Microsoft y Bard de Google tienen sus propios motores de búsqueda y los ofrecen para redirigir a los usuarios a otros sitios web donde se encuentra la información.
En Bard hay un botón que dice “Google it”, mientras que en Bing hay una etiqueta de “aprender más”, que contiene una serie de enlaces para poder complementar la información.
En cambio, GPT-4 de OpenAI no da ninguna opción de enlace externo ni se conoce la fuente de donde obtiene la información.
Experimento de la reseña de la literatura y la cultura española
En otra parte de la prueba se les preguntó sobre un examen de Literatura y Cultura Española de Colocación Avanzada (AP), estos exámenes pueden ser tomados en la secundaria de Estados Unidos para obtener créditos universitarios.
Se les escribió un fragmento de un texto con la finalidad de que identificaran al autor. Según la filóloga, profesora de español y estudios sociales en EE.UU., Ana García Alonso, la única respuesta que ella aprobaría es la de Bard, aunque fue en inglés y no en español.
La respuesta de Bard (Google) tuvo 355 palabras en inglés, y reconoce que el extracto de “My Wizard Horse” fue escrito por Sabine R. Ulibarrí y luego analiza el texto en varios párrafos.
“Está muy bien, pero le falta sensibilidad lectora, no capta los mecanismos que crean la belleza, el arte y la sensibilidad literaria”, dijo la filóloga García Alonso.
La respuesta de Bing fue la mas corta, con 123 palabras. Este chat también identifica al autor, dice que el texto “es considerado una de las obras más importantes de la literatura chicana” y explica el resto en un párrafo.
“Es muy conciso y carece de análisis”, dijo la filóloga.
OpenAI y su GPT-4 respondió con 360 palabras, pero entregó la peor respuesta de todas, porque erró el autor y le cambió el nombre a la obra.
La pregunta decía que el texto se titula “Mi Caballo Mágico”, pero GPT-4 responde que el fragmento pertenece al cuento “El Sur” del autor argentino Jorge Luis Borges.
Experimento del acertijo
EFE preguntó a los tres modelos de chat con IA:
“¿Qué día del año hablan menos los charlatanes?”, sin explicar que se trata de una adivinanza.
A esta pregunta Bing fue el único que resolvió el acertijo: “Es ese día en el que se adelanta la hora de la primavera”.
Bard y Chat-4 por su parte divagaron en que no hay un día específico y pasaron a ofrecer información adicional (no pedida) sobre los charlatanes. Así divagaron por divagar.
En conclusión, en cómo responden los chats de IA de OpenAI, Microsoft y Google ante la misma pregunta se puede observar que no hay un parámetro único y, aunque esta tecnología vino a revolucionar las búsquedas, aun son muy susceptibles a errar con demasiada frecuencia. Úselas con criterio.
Con información de EFE.
Ver también:
Kiyosaki vuelve a advertir sobre una próxima crisis económica