OpenAI ha publicado la llamada GPT-4o System Card, un informe interno en el que muestra el resultado de su investigación sobre lo seguro (o inseguro) que es su último modelo de IA generativa. Los resultados son llamativos.
Riesgo "medio" en persuasión. En su evaluación los ingenieros de OpenAI han evaluado los riesgos que plantea GPT-4o en distintas áreas. Así, estudiaron si este chatbot podría plantear una amenaza en campos como la ciberseguridad, la creación de amenazas biológicas o su autonomía. En todos esos campos el riesgo fue calificado de "bajo", pero hubo uno en que se determinó que el riesgo era "medio": en persuasión.
Textos persuasivos. En las pruebas realizaron pruebas tanto con interacciones con la voz sintetizada de GPT-4o como con sus textos. La voz planteó un riesgo bajo, pero los textos "cruzaron marginalmente al riesgo medio". Se generaron artículos en temas políticos, y se comprobó que en ciertas intervenciones esos textos podían ser más persuasivas que los creados por seres humanos.
Esa voz parece humana. Mucho más interesante fue la evaluación de la interfaz antropomórfica de GPT-4o, es decir, su capacidad de hablar imitando las pausas, entonación y emociones de las voces humanas. Hace meses esa voz original dio problemas por su similitud con la de Scarlett Johansson en 'Her' y fue retirada. En las demos demostró ser especialmente sugerente, y su sustituta plantea también riesgos.
Cuidado con enamorarte de tu chatbot. Esa evaluación reconocía que las "capacidades de audio" (la voz) de GPT-4o podía "facilitar interacciones más similares a las humanas con el modelo". La calidad de esa voz sintetizada es excepcional, y como la propia OpenAI reconoce, puede tener ventajas y desventajas. Por un lado, eso puede ser útil para personas solitarias, pero también puede aislarnos más y dejarnos enganchados a nuestra relación con una máquina. Lo explican en ese informe:
"La socialización similar a la humana con un modelo de IA puede producir externalidades que afecten a las interacciones entre humanos. Por ejemplo, los usuarios podrían entablar relaciones sociales con la IA, reduciendo su necesidad de interacción humana, lo que podría beneficiar a las personas solitarias, pero también afectar a las relaciones sanas. La interacción ampliada con el modelo puede influir en las normas sociales. Por ejemplo, nuestros modelos son deferentes y permiten a los usuarios interrumpir y "tomar el micrófono" en cualquier momento, lo que, aunque esperable en una IA, sería antinormativo en las interacciones humanas".
El riesgo está ahí. Algunos expertos indican que este informe de OpenAI es un buen primer paso, pero hay muchos más riesgos que evaluar. En cuanto al impacto en nuestras relaciones sociales, no es la primera vez que un estudio habla del tema. En abril Google DeepMind publicó su análisis de este tema. Iason Gabriel, uno de los autores de aquel estudio, explicaba que la capacidad del chatbot de comunicarse "crea la impresión de una intimidad genuina", y que ciertas voces, como las creadas por DeepMind, son inquietantes y dan lugar a "preguntas sobre este enredo emocional". La plataforma Replika sabe muy bien lo que está pasando: su chatbot ha conseguido enamorar a sus usuarios en el pasado.
En Xataka | OpenAI acaba de acercarnos más que nunca a 'Her': su nuevo modelo de voz nos acompañará (y quizás enamorará)
Ver 10 comentarios