El lanzamiento de GPT-2, GPT-3 y GPT-4, los LLM de OpenAI, ha seguido siempre el mismo patrón: se entrenaban en centros de datos cada vez más grandes y potentes, y lo hacían también con más y más datos. Cada modelo era notablemente mejor que el anterior, así que todos creíamos que ese proceso de escalado seguiría funcionando. Y parece que no lo hace.
La IA comienza a estancarse, dicen. Más y más expertos como Ilya Sutskerver creen que los días en los que añadir más GPUs y más datos para obtener mejores modelos de IA generativa se están acabando. La propia OpenAI parece haber retrasado el lanzamiento de Orion, su nuevo modelo, porque no da un salto demasiado llamativo, y lo mismo ocurre con los desarrollos de Google o Anthropic.
Invierten mucho, ingresan poco. Las grandes beneficiadas de la fiebre por la IA han sido las grandes tecnológicas, cuyas acciones en bolsa no paran de ganar enteros. En los últimos dos años, señalan en Bloomberg, las principales protagonistas han crecido en 8 billones de dólares de forma agregada. Lo curioso es que aunque no han parado de invertir —por ejemplo, en centros de datos—, los ingresos generados por la IA generativa son de momento simbólicos.
Bienvenidos a la función sigmoide. Pero en realidad puede que ese hipotético "estancamiento" sea precisamente lo que tenía que pasar. En el ámbito de la tecnología los nuevos desarrollos no se chocan contra un muro durante un tiempo y mueren. Lo que suele ocurrir es que se chocan, sí, pero cierto descubrimiento o innovación desbloquea todas sus posibilidades. Es el comportamiento representado por la llamada función sigmoide ("S-Curve"): el progreso inicial es lento, pero en cierto punto comienza a acelerarse de forma notable. Luego comienza a ralentizarse y, de nuevo se acelera tras una nueva evolución.
Estancarse para evolucionar. Los ejemplos están por todas partes. En el mundo de los chips la ley de Moore parece dejar de cumplirse cada cierto tiempo, pero luego nuevos avances —sobre todo fotolitográficos— vuelven a demostrar su validez. El desarrollo de la aviación comercial estuvo estancada varios años, pero el paso a los aviones a reacción en lugar de los que usaban hélices logró un avance singular. Desde entonces los chips y los aviones quizás no han dado un salto tan grande, pero son más eficientes y capaces, y la evolución ha seguido esas funciones sigmoides.
Un problema es una oportunidad de mejora. Si usar más GPUs y más datos ya no es suficiente, habrá que buscar nuevos caminos para que la IA evolucione. Es justo lo que están haciendo la mayoría de empresas. OpenAI lanzó recientemente su modelo o1 con el objetivo de que "razone" y cometa menos errores al responder. Mejorar los modelos después de haber sido entrenados tiene sentido. Ya los hemos entrenado muy bien, ahora hay que mejorarlos después de entrenarlos, es decir, en la fase de inferencia, como lo hace o1.
Una pausa no viene mal. Quizás este teórico estancamiento sea precisamente algo que necesitábamos en el agitado mundo de la IA generativa en el que todo parecía ir demasiado rápido. Ahora que los modelos son suficientemente buenos para ciertos ámbitos —el ejemplo claro es el de la programación—, investigar y desarrollar nuevas formas de que evolucione parece especialmente interesante. Y no solo eso.
Seguridad y regulación. Este impasse también plantea una oportunidad para trabajar en esos otros ámbitos que rodean a la inteligencia artificial y que han sido descuidados, insuficientes o prematuros. Hay dos ejemplos claros: la seguridad y la regulación. El "estancamiento" puede permitir dedicar tiempo a analizar cómo desarrollar modelos de IA más seguros y que no supongan una amenaza, pero también a plantear una regulación que se ajuste más a lo que tenemos hoy y no a lo que la IA puede representar mañana. La AI Act de la UE es un buen primer paso, pero no está definida con demasiada claridad porque simplemente ha aparecido demasiado pronto. Como la IA, tiene que evolucionar y adaptarse al desarrollo de estos modelos y su impacto.
Imagen | beata_73601 con Midjourney
Ver 4 comentarios