A los chatbots les da por desvariar de vez en cuando. Lo hacen porque los usuarios lo provocan, pero también sin que haya demasiados motivos para ello. Es uno de los grandes problemas de ChatGPT y sus competidores, pero en NVIDIA creen tener la solución.
Qué ha pasado. NVIDIA ha anunciado el lanzamiento de NeMo Guardrails, un nuevo software que ayudará a los desarrolladores de soluciones basadas en IA a que sus modelos planteen respuestas incorrectas, hablen de forma tóxica o puedan desvelar agujeros de seguridad.
Guardarraíles para evitar problemas. Lo que hace este software es añadir una especie de barreras virtuales para evitar que el chatbot hable de temas de los que no debería. Con NeMo Guardrails se puede forzar a que un chatbot pueda hablar de cualquier tema evitando contenido tóxico, y además está diseñado para evitar que los sistemas LLM ejecuten comandos dañinos en nuestros ordenadores.
Cuidado con lo que dices, chatbot. NeMo Guardrails es una capa software que se sitúa entre el usuario y el modelo de IA conversacional o cualquier otra aplicación de IA. Su objetivo es eliminar respuestas erróneas o tóxicas antes de que el modelo pueda ofrecérselas al usuario. En un ejemplo propuesto por NVIDIA de un centro de atención, indicaban como la empresa "no querrá que conteste preguntas sobre los competidores".
Nada de datos confidenciales. Este tipo de herramienta también sirve para otro escenario en el que alguien intente obtener información confidencial o sensible a partir de los datos con los que ha sido entrenado el chatbot. Sabemos que ChatGPT y sus competidores no saben guardar secretos, y la solución de NVIDIA quiere ser la respuesta a ese problema.
IAs que se hablan entre sí. Este software de NVIDIA es capaz de hacer que un LLM detecte esos errores y "alucinaciones" preguntando a otros modelos LLM para que verifiquen que las respuestas de los primeros sean correctas. Si el LLM "verificador" no puede ofrecer esa respuesta, el primer LLM responderá al usuario con algo del tipo "no lo sé".
Open Source. NeMo Guardrails tiene otra característica llamativa: es Open Source. Se puede usar a través de los servicios de NVIDIA y se puede usar en aplicaciones comerciales. Para usarlo, los desarrolladores pueden usar el lenguaje de programación Colang, con el que es posible crear las reglas personalizadas que luego se aplicarán al modelo de IA.
Imagen: Javier Pastor con Bing Image Creator
Ver todos los comentarios en https://www.xataka.com
VER 11 Comentarios