Ponen una IA de DeepMind a resolver un examen escolar de matemáticas y suspende: no fue capaz de sumar bien "1+1+1+1+1+1+1"

En los últimos años DeepMind, la filial británica de Google dedicada al sector de la inteligencia artificial, ha logrado desarrollar IAs capaces no sólo de aprender por sí mismas las reglas de juegos de mesa (como el Go) o videojuegos (como Starcraft), sino de ganar a los campeones humanos de los mismos.

Por eso, cuando los investigadores de la compañía decidieron dejar de lado los juegos y pasarse a asuntos más 'de el día a día', como la resolución de problemas escolares de matemáticas (dirigidos de jóvenes británicos de 16 años), podía parecer que no se hallaban ante una labor más compleja que las anteriores.

Te esperamos en la recuperación, DeepMind

Y, sin embargo, cuando la red neuronal que desarrollaron se puso a prueba con ejercicios reales de aritmética, álgebra y probabilidad, el resultado fue un pequeño fiasco: suspenso. Sólo fue capaz de acertar en la respuesta de 14 de las 40 preguntas realizadas.

Sin embargo, el problema no fue tanto su efectividad como lo incomprensible de su comportamiento. Por ejemplo, cuando se le pidió que sumara 1+1+1+1+1+1 fue capaz de contestar correctamente '6'... pero no contestó correctamente cuando se le preguntó por el resultado de "1+1+1+1+1+1+1" (un 'uno' más).

Otra rareza fue responder correctamente a la pregunta "Calcula cuánto es 17 × 4.": '68'. Pero, cuando se borra el punto al final de la frase... la respuesta pasa a ser '69'. ¿Extraño, verdad?

Eso sí, hay que tener claro de qué estamos hablando: obviamente, existen inteligencias artificiales capaces de calcular correctamente esas operaciones (tendríamos un problema en caso contrario): lo que ocurre es que DeepMind pretendía crear una red neuronal capaz de aprender matemáticas desde cero recurriendo al machine learning.

Los investigadores (David Saxton, Edward Grefenstette, Felix Hill y Pushmeet Kohli) explican precisamente eso en su paper "Análisis de destrezas de razonamiento matemático de los modelos neuronales":

"Lo que nos interesa evaluar aquí son los modelos de propósito general, no los que vienen con conocimientos de matemáticas ya incorporados".

Reconocen, sin embargo, que aún no tienen una buena explicación para este comportamiento, puesto que hubo errores como el de "1+1+1+1+1+1+1 = 7" que no se reproducían al abordar cuentas más complejas.

En palabras de David Saxton, "en este momento, sistemas de aprendizaje como las redes neuronales son bastante malos a la hora de poner en práctica el razonamiento algebraico". Para Saxton, que nosotros contemos con "habilidades de razonamiento general" de los que la IA carece afecta a la forma en que ésta 'lee' las operaciones (y las va realizando sobre la marcha).