'Chat with RTX' nos permite personalizar un modelo de lenguaje alimentándolo con nuestro propio contenido
Todo se ejecuta en local, en nuestro PC, utilizando el hardware de nuestra propia tarjeta gráfica
Los procesadores gráficos se sienten cómodos con la inteligencia artificial (IA). Muy cómodos. Más que las CPU. El motivo es que estos algoritmos se benefician de una arquitectura que prioriza el paralelismo masivo, que es precisamente lo que nos proponen las GPU, pero no las CPU. Los chips de la familia GeForce RTX de NVIDIA en particular incorporan varios subsistemas específicos que, precisamente, persiguen incrementar su rendimiento al ejecutar procesos de IA.
Los núcleos Tensor son unidades funcionales de hardware especializadas en resolver operaciones matriciales que admiten una gran paralelización. De hecho, han sido diseñados expresamente para ejecutar de forma eficiente las operaciones que requieren los algoritmos de aprendizaje profundo y la computación de alto rendimiento. Además, ejercen un rol esencial en la tecnología DLSS (Deep Learning Super Sampling), de ahí que tengan un claro protagonismo en la reconstrucción de la imagen mediante DLSS 3.
El movimiento que acaba de hacer NVIDIA tiene todo el sentido del mundo si tenemos presente lo que acabamos de repasar. Si sus GPU más recientes están preparadas para ejecutar con una suficiencia notable los algoritmos de IA ¿por qué no sacarles partido más allá de los juegos? Esto es justo lo que desde hoy nos propone esta compañía. Y es que los usuarios de las GeForce RTX 30 y 40 para PC de sobremesa o portátiles ya pueden instalar en su ordenador 'Chat with RTX', una herramienta que, de alguna forma, actúa como un ChatGPT personalizado.
Un modelo de IA personalizado a partir de nuestro propio contenido
Entender qué es y qué no es 'Chat with RTX' no es difícil. NVIDIA lo define como una aplicación que nos permite personalizar un modelo de lenguaje de gran tamaño alimentándolo con nuestro propio contenido, como, por ejemplo, documentos de texto, notas o vídeos. En la práctica esto significa que esta herramienta pone en nuestras manos un modelo de inteligencia artificial que nos va a permitir realizar consultas tomando como contexto nuestra propia información. De hecho, soporta varios tipos de archivos, como .pdf, .docx o .xml.
No obstante, también podemos entregarle la URL de una lista de reproducción de YouTube y la aplicación nos devolverá la transcripción del contenido de los vídeos que recoge ese repositorio. A partir de ahí podemos llevar a cabo consultas sobre el contenido de la transcripción. No pinta nada mal. Un apunte importante: todo se ejecuta de forma local, en nuestro propio PC, por lo que las consultas que hacemos son seguras en la medida en que ninguno de nuestros datos sale a internet.
Según NVIDIA 'Chat with RTX' saca partido a las unidades funcionales implementadas en las GPU GeForce RTX 30 y 40 expresamente para lidiar con los algoritmos de inteligencia artificial, como los núcleos Tensor y RT. Poner a punto la versión de prueba de esta herramienta a la que hemos tenido acceso para preparar este artículo no ha sido trivial, pero después de hacer algunos ajustes ha funcionado correctamente. Este ejemplo ilustra con claridad qué tipo de operaciones podemos llevar a cabo con esta herramienta actuando sobre nuestros datos.
Como hemos visto, la entrada que debemos proporcionar a 'Chat with RTX' debe ser una carpeta que contenga nuestros documentos .docx, .pdf o similares, o bien la URL de una lista de reproducción de YouTube. Para ponerla a prueba le entregué una carpeta en la que guardo varios documentos en PDF con mis nóminas, mi contrato laboral y otros documentos de carácter profesional, y una vez que lo indexó todo le hice preguntas acerca de mi salario, mis retenciones, etc. Y acertó. Con todo. El modelo de IA que he utilizado (la herramienta nos permite usar Mistral, que es el que he empleado, o LLaMA) funciona a las mil maravillas. Prometido.
Más información | NVIDIA
En Xataka | La IA ha disparado las previsiones de ventas de NVIDIA. Tanto que TSMC no va dar abasto de chips
Ver todos los comentarios en https://www.xataka.com
VER 6 Comentarios