Google tiene una idea para acabar con los comentarios "troll": dejar que una IA los modere

IMDB, una de las páginas más longevas de Internet, anunciaba el cierre de sus foros recientemente. Durante los últimos años han sido numerosas las publicaciones que han seguido una estrategia similar y han cerrado sus comentarios. El motivo suele ser siempre el mismo: el ambiente en algunos casos es muy "tóxico" y el arreglarlo significa estar pendientes e invertir recursos. Y, aun así, a veces no es suficiente.

Conscientes de este problema, desde Google han anunciado hoy una posible solución: Perspective. Con ese nombre han bautizado a una tecnología, todavía en fase de desarrollo, que utiliza machine learning para procesar los comentarios de forma automática y les otorga una puntuación de 0 a 100 en función de su grado de "toxicidad". Perspective forma parte del proyecto Jigsaw de Google, es totalmente gratis y cualquiera que lo desee podrá implementarlo vía API en su web.

Después de que Perspective haga esa primera clasificación de cada comentario, queda en manos de cada editor el qué hacer con ellos: algunos pueden elegir una aproximación más estricta y sólo permitir que se publiquen los comentarios con mejores puntuaciones; otros pueden optar por dejar fuera sólo aquellos que tengan una puntuación muy muy baja. Incluso alguien podría optar por avisar al comentarista de que su comentario es ofensivo antes de publicarlo. En definitiva: el algoritmo sólo clasifica, lo que luego haga cada uno con ese ranking es cosa suya.

Ponen de ejemplo el diario The New York Times, con el que han probado una primera versión de Perspective: reciben más de 11.000 comentarios cada día que son revisados a manos antes de que se publiquen. "Hemos colaborado con ellos para entrenar una serie de modelos que permitan a los moderadores del Times clasificar los comentarios con mayor rapidez, y esperamos trabajar con el Times para ayudarles a habilitar comentarios en más artículos, cada día", explican desde Google.

Por ahora, Perspective sólo estará disponible en inglés (lo que significa que sólo procesa y puntúa comentarios en dicho idioma), pero la idea es expandirlo al resto de idiomas en un plazo de dos años. Será también el principio: Google ya ha dicho que tiene pensado desarrollar algoritmos parecidos que sepan detectar mejor, por ejemplo, cuando se producen ataques personales o comentarios que no tratan sobre el tema principal del artículo donde se publican.

¿Cómo sabe Google si un comentario es tóxico o no?

A diferencia de otros sistemas, que simplemente evitan que se publiquen comentarios que contienen palabras negras que están presentes en listas negras, Perspective es capaz de detectar, según Google, otros comentarios que no incluyan insultos u otros términos pero que puedan considerarse "tóxicos" y perjudiciales para la conversación.

¿Cómo? Google lo explica así:

"Perspective analiza los comentarios y los evalúa basándose en el parecido que tienen con los comentarios que las personas han indicado como “tóxicos” o que, probablemente, pueden hacer que alguien abandone una conversación. Para aprender a detectar un lenguaje potencialmente tóxico, Perspective examina decenas de miles de comentarios etiquetados por personas dedicadas a revisarlos. Cada vez que Perspective encuentra nuevos ejemplos de comentarios tóxicos o recibe correcciones por parte de los usuarios, mejora su capacidad para evaluar los futuros comentarios."

Básicamente, el editor "alimentaría" al algoritmo con los comentarios a estudiar y éste los compararía con cientos de miles de comentarios que conoce y que han sido etiquetados como ofensivos. El algoritmo no es estático, sino que va aprendiendo con el paso del tiempo: no sólo estaríamos hablando de mejoras a la hora de detectar comentarios tóxicos, sino también tendrá en cuenta las correcciones que pueda recibir de comentarios que han sido identificados como falsos positivos.

El objetivo, al hacerlo disponible de forma gratuita para todo el mundo, es que más gente utilice Perspective y el algoritmo vaya mejorando con el paso del tiempo. Además, como decíamos antes, la idea es que pronto se sumen otros modelos que sean capaces de detectar "offtopics" y ataques personales. Si alguien te llama "cara de rana" en un comentario, posiblemente lo haga con ánimos de ofender, aunque no tiene ninguna palabra malsonante en sí. La idea es que estos algoritmos puedan detectarlo.

Cuando una máquina toma el control de la conversación

Moderar comentarios no es una tarea sencilla, y cualquiera que lo haya hecho en alguna ocasión me dará la razón. No sólo por el tiempo que lleva, sino por las propias decisiones que tienes que tomar. ¿Dónde se termina la libertad de expresión y empiezan los ataques personales? ¿Qué se puede considerar insulto y falta de respeto y qué no? En este caso, ¿qué pasará cuando dejemos en manos de una máquina el control de la conversación?

Desde Google han insistido mucho en que ellos sólo ponen el algoritmo y ofrecen una "puntuación" y en que lo que luego ocurre dependerá de cada editor. Además la máquina tomará decisiones basándose en comentarios tóxicos que ha ido "aprendiendo" en base a los comentarios "tóxicos" que le han enseñado. Aquí surge también una pregunta: ¿quién decide qué es tóxico para enseñárselo a Perspective? Desde Google señalan que se basan en cientos de miles de comentarios que miles de personas han etiquetado.

En cualquier caso, la pelota está ahora en el tejado de los editores y está por ver cuáles de ellos se animan a añadir Perspective en sus sistemas. Lo que sí es seguro es que Google está muy interesado en que lo utilicen: el ofrecer de forma gratuita una posible solución a un problema que muchos sufren (y por el que posiblemente pagarían) no es casualidad.

PD: Si quieres saber si lo que escribes es tóxico o no según Google, en la web oficial tienes un apartado donde te dejan probarlo.

Imagen | TimOve (CC)