Es intuitiva, es sencilla, resulta atractiva visualmente y se comprende sin problemas de un solo vistazo, más allá incluso de idiomas o diferencias entre culturas, pero… ¿es eficaz? Que los sistema de clasificación de cinco estrellas son prácticos no lo duda nadie. Que sigan siendo útiles en 2023, sí. Cada vez hay más voces que cuestionan la validez de un método que consideran marcado por sesgos importantes. No se trata ya de una cuestión de sinceridad en las respuestas o de precisión, sino de algo mucho más complicado: la polarización y una "devaluación" de las estrellas que parece convertir las notas más altas en el estándar.
La cuestión es muy sencilla: ese último restaurante al que fuiste a cenar con tus amigos porque tenía una valoración de cinco estrellas… ¿se merecía de verdad esas cinco estrellas? ¿Y ese taller al que llevaste el coche por el mismo motivo?
Algunos datos para empezar. No. No son impresiones tuyas. Las cuatro y cinco estrellas campan a sus anchas en los sistemas de calificación online. En 2021 un grupo de investigadores publicaron un estudio en Nature en el que reconocían que "las reseñas son abrumadoramente positivas". Según sus cálculos y al menos en aquel momento, la valoración media en Amazon.com era de 4,2 estrellas sobre 5, puntuación esta última que se asignaba en más de la mitad de las opiniones.
El panorama era similar en Yelp, donde casi la mitad de las valoraciones eran también de 5 estrellas, y los investigadores citan estudios que muestran que en Uber cerca del 90% de las valoraciones asignan también la nota máxima.
Las valoraciones se marcan una 'J'. "Una representación visual de la mayoría de las valoraciones online revela una distribución en forma de J, con muchas de 4 y 5 estrellas, unas cuantas de 1 estrellas y pocas intermedias", abunda el estudio. Un vistazo a los datos de Tripadvisor transmite una sensación similar. En 2019, último año libre del efecto del COVID, la puntuación media de los alojamientos españolas pasaban en todas las comunidades españolas —la única excepción en el territorio nacional era la ciudad autónoma de Melilla— de los cuatro puntos.
¿Y qué supone eso? Un cambio en la percepción del cliente. En un sistema de estrellas del 1 a 5 la buena lógica indica que un servicio o producto con una nota de 2,5 está en la media, pero… ¿Es así como lo vemos cuando los "sobresalientes" son casi nuestro pan de cada día? "El grado de positividad abrumadora sugiere que las personas a menudo se enfrentan a la elección entre numerosos artículos con valoraciones de estrellas similares, sobre todo teniendo en cuenta que la gente ni siquiera considerará las opciones que obtienen menos de una valoración de 3 estrellas", señalan los autores del estudio publicado en 2021 en Nature.
Separar lo bueno de lo mejor. No son los únicos que se han fijado en el fenómeno. Harvard Business Review ha publicado también un ensayo interesante sobre el asunto que deja una idea botando: los sistemas de 5 estrellas quizás sean buenos para eliminar a los productos, empresas y servicios de peor calidad, pero les está costando mucho más separar los buenos de los excelentes.
"Puede no ser un gran problema para los mercados que ofrecen servicios básicos, pero sí puede ser un problema grave en aquellos en los que es importante permitir que proveedores verdaderamente grandes se diferencien de forma clara", señalan los autores, que advierten de que, tal y como están implementados, los sistemas de valoración pueden favorecer la polarización: "Al carecer de incentivos para aportar opiniones sinceras, los usuarios que tienen experiencias extremas —ya sean muy malas o muy buenas— son mucho más propensos a dejar opiniones que los usuarios con experiencias medias, derivando así en sesgos de selección".
El salto de la teoría a la práctica. Lo apuntábamos al principio del post. Los sistemas de clasificación con estrellas son intuitivos y fáciles de manejar, pero su eficacia depende básicamente de cómo responden quienes puntúan. Cuando falla esa parte del engranaje se genera una suerte de "devaluación" de las estrellas que hacen que cualquier valoración inferior a 4,5 o incluso 5 se mire con sospecha, como señalan desde Peak Performance Digital, que advierte de ciertos riesgos.
El primero, que haya empresas que incentiven las buenas valoraciones con descuentos o regalos a cambio precisamente de reseñas; el segundo, que el sistema acabe penalizando a los negocios de menor tamaño. Al fin y al cabo si los clientes comentan básicamente para mostrar su satisfacción o cabreo, en casos extremos, es más fácil que una valoración demoledora lastre la nota de un negocio pequeño. Cuando solo se tiene un puñado de comentarios un par de críticas negativas puede fácilmente conseguir que una cafetería de 5 estrellas se vea descabalgada a 3,5.
"¿Acaso 5 estrellas no es lo normal?" La frase es de Mike Johnson, un usuario de Uber con el que ha hablado The Wall Street Journal para elaborar un reportaje que trata precisamente de los sistemas de puntuación online. Johnson reconoce que ha recibido servicios incómodos, pero los ha valorado igualmente con la máxima nota para no perjudicarlos en la plataforma. No es el único.
Las valoraciones son también altas entre los propios usuarios. Tanto, de hecho, que Roxie Benesch, conductora de la plataforma con una valoración 5 de primera categoría reconoce que a veces le preocupa recoger pasajeros con una nota inferior a 4,8. "Un 4,79 es muy bajo. Me pregunto: '¿Debo temer por mi vida?'", bromea.
Más casos para reflexionar. Con el alza del comercio online y el éxito de plataformas como Uber, Cabify, Amazon o Airbnb como telón de fondo, lo de la "cotización" de las estrellas no es una cuestión menor. Amazon asegura que calcula la calificación con modelos de machine learning en vez de con simples promedios. Un caso interesante es el de Airbnb: la calificación promedio de sus casas en EEUU, excluyendo el alquiler de cuartos, fue el año pasado de 4,74 estrellas.
The Wall Street Journal ahondó también en esa puntuación y habló con usuarios que admitían dejar críticas positivas para no perjudicar a su anfitrión o recibir a su vez una valoración negativa como inquilino. A modo de ejemplo cita a una abogada que se quedó atrapada en el dormitorio de Atlanta que había alquilado por Airbnb, por lo que tuvo que tirar la puerta y se quedó menos tiempo del previsto. A pesar de esa mal experiencia le asignó cuatro estrellas. "Me sentí un poco presionada para no ser necesariamente sincera", confiesa. El resultado: una duda inquietante que queda botando… ¿Qué diferencia un 4,6 de un 4,8, por ejemplo?
Imagen de portada: Towfiqu barbhuiya (Unsplash)
Ver 20 comentarios
20 comentarios
cuspide
No hemos roto nada, le hemos dado un significado ligeramente distinto. Yo cada vez que compro, me fío mucho más de una producto de 4 estrellas valorado por 800 personas, que uno de 5 estrellas valorado por 3 personas, y creo que todo el mundo hace igual.
Psicológicamente, cuando valoramos, nos centramos sólo en un par de aspectos de las decenas de aspectos que pueda tener un producto, y la valoración final se basa en ese aspecto concreto: "1 estrella: Me llegó la caja rota" -> aquí no estás valorando el producto, estás valorando el servicio, por lo tanto no es una valoración válida. "5 estrellas: Unos auriculares estupendos" -> vale, sí, ¿y qué ocurre cuando se compara con otro producto similar?.
Cosas así, psicológicamente son difíciles de controlar, y darle una "carta en blanco" al usuario provoca estas cosas, pero ese es problema del que se la da sin ponerle una guía para valorar. Así que no es que lo hayamos roto nosotros como usuarios, es que es un sistema demasiado genérico y libre como para concretar una valoración fidedigna, y el problema radica en su diseño. Sólo las valoraciones con más usuarios empiezan a ser válidas ya que hay más probabilidades de que estén cubiertos todos los aspectos. Sentimientos como la rabia, la pena, o la euforia en el otro extremo, también acaban por teñir la valoración, porque la gente no tiene la sensación de un deber "profesional" cuando valora un producto, pone lo que siente en ese momento puntual.
Luego existen sistemas de valoraciones mucho más concretos, donde se valoran por separado distintos aspectos para acabar calculando una nota final, pero suele llevar tiempo y trabajo rellenaros, y baja el número de opiniones. Y también está el hecho de que algunas empresas hacen ciertas "trampas" para ocultar o empujar hacia arriba ciertas valoraciones en función de su interés, o de si el fabricante del producto quiere resaltar alguna en concreto. Me atrevería a decir que es algo que va a menos, y que hace años que hay empresas que se dedican a ofrecer "confianza" en las valoraciones, como TrustPilot, pero siempre hay que andarse con cuidado. Es un mundo muy complejo, pero obviamente, aquí el usuario no es el problema, es lo que ofrece el sistema de 5 estrellas. La verdadera pregunta es si nosotros, los usuarios, sabemos lo que significan las estrellas, y yo, personalmente, no creo que haya que echarse las manos a la cabeza, entre todos sabemos qué se cuece en una caja de comentarios y valoraciones.
Orbayo
Ya no compro en Amazon. Es imposible distinguir nada entre tanta mierda y falsificaciones. Además de revisiones falsas se ha llenado de productos de mierda que venden genios que se quieren hacer ricos vendiendo productos de Aliexpress.
gel0n
No hemos roto nada porque obviamente las opiniones siempre han estado polarizadas desde que el mundo es mundo. Si tú te molestas en escribir una valoración, normalmente es porque has tenido un problema y quieres desahogarte con una estrella o porque todo lo contrario y vas a poner cinco estrellas. La inmensa mayoría de la gente no hace el esfuerzo de valorar algo que le ha dejado indiferente.
Y lo de que cinco estrellas sea un baremo de correcto a excelente, mientras que cuatro o menos sea una mierda, pues bueno, más de lo mismo. Solo hay que ver el análisis de videojuegos, menos de un 80 lleva siendo una mierda durante 50 años. Si veías un 60-70 en Hobby Consolas en los años 90 es que seguramente era uno de los peores juegos que habían pasado por la redacción.
Personalmente no me molesto en poner menos de cinco en Amazon o AliExpress. Si el producto es acorde a lo anunciado y tiene un mínimo de calidad, es lo que pongo. Una estrella solo lo pongo para los pocos casos de "fraude" que he visto, en cientos de pedidos. No veo sentido a usar el resto de estrellas, sinceramente.
Más preocupante me parece que la gente no sepa escribir, en España, que no sepa usar un sistema de estrellas. Que hay opiniones que te provocan cataratas.
lopez
Pues entonces yo soy la "mala persona" que da sólo 4 estrellas cuando algo me gusta pero tampoco me parece "épico". Debo haberme ganado el odio de muchos restaurantes en Google maps
davidkeko
Además de las estrellas, a veces las encuestas de satisfacción no te preguntan sobre lo que tú realmente quieres responder. Por ejemplo Audi pregunta sobre la puntualidad la amabilidad y otras mariconadas de su servicio oficial. Pero no sobre el precio de reparaciones, la efectividad de reparaciones, si el presupuesto nos pareció un robo o no. Así que ya he decidido ponerle una estrella a todo y que cuando me llame un comercial para ofrecerme una oferta de recompra de mi coche soltarle toda la mierda que me ha hecho su servicio oficial.
l0ck0
no, 2,5 no es que un producto este en la media. un producto/servicio con 2,5 es algo que ni es tan bueno como para recomendarlo por encima de otros ni es malo como para desaconsejar su compra .. por tanto es mediocre
redboy
Las estrellas sirven para productos, cosas. Ahi la valoración es más ajustada.
Cuando detrás de la valoración hay un humano, o un servicio, prima algo más la empatía, y preferimos no "perjudicar" al que brindó ese servicio, en la medida que haya sido correcto para arriba.
Incluso un servicio "aceptable" dificilmente recoja menos de 4 estrellas.
Pero en el caso que algo no nos dejó conformes o fue un mal gusto, 1 estrella parece mucho.
Hay encuestas tipo multiple elección, donde cada punto indica un grado de satisfacción explicito, por ejemplo: malo, mediocre, aceptable, bueno, excelente.
Si tuvieramos esa "escala" en mente y fueramos menos empáticos, quizá funcionase...
efdtlc
Un gran problema es también que muchas reviews se hacen nada más comprar un producto, sin esperar a ver si realmente el producto cumple las expectativas.
Muchas veces, con un mes es suficiente.
También podría existir un baremo que promediase con las reviews, y que es la tasa de devoluciones.
mlax
Esas puntuaciones son una farsa.
p4ch
Yo siempre me guío por el porcentaje de de 1, 2 y 3 estrellas, más que por el porcentaje general o el de 4 y 5.
defourth
Yo le doy 5 estrellas es si el producto cumple con lo que promete, acorde con su calidad y precio, en fin si recibo lo esperado o más le doy 5 estrellas. Ya la comparación con otros productos se lo dejo a los críticos de YouTube.
jaranorrr
Caída masiva de BBVA,
No se puede acceder a la banca online, no funcionan los cajeros, llevan desde esta mañana y continúa la incidencia.
Ahora quien nos paga todos estos daños y perjuicios, tantas comisiones que ponen ellos por todo, ahora donde está la comisión que debemos cobrar nosotros al BBVA por dejarnos indispuestos de usar nuestro dinero?
ale
El
Sistema debería ser de 1 a 10 estrellas
Así se conocería más la realidad
1-5 es demasiado poco.