DxOMark: cómo funciona el evaluador de cámaras de móviles más polémico y famoso de internet

Para muchos uno de los grandes titulares que ofrecieron los Pixel 2 / XL de Google fue su prodigioso 98 de puntuación en DxOMark. Aquel hito parecía demostrar de buenas a primeras que estábamos ante la mejor cámara móvil del mercado, pero ¿es eso cierto?

La respuesta es compleja, sobre todo porque esa puntuación global es solo parte de la ecuación, y hay otros muchos apartados que deben ser considerados, algunos de los cuales DxOMark ofrece en sus análisis. Hemos hablado con Nicolas Touchard, vicepresidente de marketing de la empresa, para que nos explique cómo funcionan las pruebas que se han convertido en la referencia de las cámaras móviles, y atentos, porque hay más de una sorpresa.

La mejor cámara es la que llevas siempre contigo

La empresa DxOMark Image Labs llevaba años desarrollando software para postprocesado de imágenes, y a sus responsables se les ocurrió una idea curiosa en el año 2009: ¿por qué no crear un sitio web para analizar cámaras fotográficas?

Así es como nació DxOMark, que inicialmente dedicó sus esfuerzos a profesionales y grandes aficionados del mundo de la fotografía. La idea era la de establecer una forma sencilla de que esos usuarios pudieran saber qué cámara era la mejor en general y también en ciertos apartados específicos.

Aquel enfoque al segmento más especializado cambió en 2012, cuando DxOMark publicó su primer análisis de un teléfono móvil. El iPhone 4 sacó una puntuación de 50, y poco a poco los responsables de este servicio se dieron cuenta de que la realidad en el segmento de las cámaras era que los móviles se habían hecho con el protagonismo absoluto para la mayor parte de los usuarios.

Eso hizo que en DxOMark los análisis de las cámaras de diversos teléfonos móviles se convirtieran en algo no solo cada vez más frecuente, sino también más demandado por los usuarios. Su banco de pruebas se fue adaptando a ese nuevo mercado que había dejado muy atrás al sector especializado original, y aunque siguen analizando cámaras fotográficas DSLR y también objetivos para esas cámaras, si hay algo por lo que se conoce últimamente a DxOMark es las puntuaciones que le dan a las cámaras de los smartphones que van apareciendo en el mercado.

Para obtener esas puntuaciones en DxOMark realizan una serie de pruebas que tienen lugar tanto en un entorno de estudio muy controlado y con equipo especializado, como las realizadas en todo tipo de entornos reales, tanto en interiores como en exteriores, donde es posible comprobar el comportamiento de esas cámaras con distintos tipos de luz en situaciones cotidianas.

A diferencia de lo que ocurre con las cámaras tradicionales, en los móviles se tienen en cuenta las imágenes obtenidas con los sensores pero también el impacto del software que los smartphones incluyen para mejorar el resultado final. El binomio entre los sensores y el software de post-procesado que actúa cada vez que sacamos una foto con un móvil tiene su máximo exponente en esa fotografía computacional de la que presume Google.

Es precisamente ese conjunto el que permite a DxOMark evaluar el resultado final y no solo la imagen "cruda" tomada con el sensor, que es lo que hacen al analizar cámaras DSLR y evaluar tan solo el fichero RAW de cada toma.

Vayamos por partes, que diría Jack

Ese análisis conjunto hace que en DxOMark analicen parámetros como la exposición, el contraste, el rango dinámico, el color (tono, saturación, balance de blancos), la textura y el ruido, el funcionamiento del enfoque automático, los posibles artefactos que aparecen en la foto (aliasing, distorsiones, llamaradas), el comportamiento del flash, del zoom (óptico, manual) y en los últimos tiempos incluso se evalúa también ese efecto bokeh o de profundidad de campo que ha revolucionado la fotografía en modo retrato entre los usuarios de móviles.

Ese análisis tiene en realidad dos partes, ya que además del modo fotográfico en DxOMark también evalúan el modo de grabación de vídeo, en el no entran en juego el Flash, el zoom, el ruido o el bokeh, pero sí lo hace un apartado clave para quienes usan esa función: el comportamiento de la estabilización de vídeo.

Todos esos parámetros se analizan de forma independiente con distintas pruebas especializadas y cada uno de ellos se puntúa de forma independiente, pero la puntuación final de DxOMark, esa que se utiliza como "valor absoluto" del análisis tiene dos particularidades que hacen que en cierta forma se preste a confusión:

1. No se puntúa sobre 100: Este es uno de los apartados más engañosos de esas puntuaciones globales de DxOMark, que sí que parece que tienen como tope máximo una puntuación de 100 que estaría destinada a la "cámara perfecta". Esto no es así ya que no hay máximos establecidos, aunque obviamente cuanta más puntuación saque una cámara, mejor será en su valoración global. Para demostrarlo ya hay dos cámaras que han igualado o superado esa puntuación: la Nikon D850 ha obtenido un 100, y la Hasselblad X1D-50x, un 102. No solo eso: el análisis del iPhone X tiene una nota global de un 97, pero en el apartado foto este móvil saca un 101. Lo explicaban justo al final del análisis del Pixel 2, donde indicaban que "nuestros nuevos protocolos de prueba y sistemas de puntuación tienen amplio margen de maniobra para nuevos dispositivos. No hay nada mágico en una puntuación de 100, y no hay razón por la que otras cámaras no puedan superarlo. ¡Estamos seguros de que llegará el momento en que lo hagan"
2. La puntuación final no es un la media: si uno se queda en la puntuación final puede perderse muchas cosas, porque en realidad en los análisis de DxOMark se evalúan como decíamos muchos parámetros de forma independiente. Si uno se fija en esas puntuaciones independientes al final de cada uno de sus análisis, se comprueba cómo la puntuación final no es la media de las puntuaciones de cada apartado. En realidad en DxOMark aplican ciertos coeficientes a cada parámetro para darles mayor o menor importancia de cara a la nota final, y es la combinación de esas notas independientes y esos coeficientes (en DxOMark no los especifican) la que da la nota final. Como nos explicaba Nicolas Touchard, VP de Marketing en DxO Labs, la forma en la que se aplican esos coeficientes es secreta, algo que evita que los fabricantes y desarrolladores puedan tratar de aprovechar esa fórmula para mejorar en sus pruebas.

DxOMark, alianzas y susceptibilidades

Ocurre también que en DxOMark no solo realizan análisis de las cámaras móviles más interesantes que van saliendo al mercado: también realizan tareas de consultoría —ese servicio lo presta otra división llamada Image Quality Solutions—, trabajando con los fabricantes que así lo deseen para vender equipos de laboratorio con los que probar sus cámaras, por ejemplo, y asesorando en los procesos de mejora de esos sensores.

Eso, claro, puede generar susceptibilidades. ¿Significa que DxOMark favorece a aquellas empresas con las que se alía? Esas suspicacias podrían aparecer entre fabricantes y usuarios, pero como nos explicaba Nicolas Touchard, es muy sencillo disipar esas dudas: "En DxOMark las pruebas son siempre las mismas para todos", aclaraba, "sin importar que hayamos trabajado con el fabricante o no. El equipo que hace las pruebas trabaja de forma indpendiente", y el banco de pruebas es igual para todos los dispositivos que evalúan, con las valoraciones también indistintas de si ha habido colaboración o no.

Su metodología de pruebas es pública y hay cumplida información sobre DxO Analyzer (tienen un canal en YouTube repleto de vídeos explicativos), de modo que aunque los fabricantes pueden tratar de esforzarse más para sacar más puntuación en esas pruebas esa "receta mágica" con la que se obtiene la puntuación final hace que sea muy difícil "hacer trampas" y mejorar en esa puntuación sin que la cámara se comporte en efecto de acuerdo con dicha valoración.

En DxOMark nos explican cómo trabajan desde dentro

Hemos tenido la oportunidad de hablar con Nicolas Touchard, vicepresidente de marketing de DxOMark, y él mismo nos explicaba cómo la empresa, con sede en París, ha cambiado recientemente de estructura y de nombre. DxOMark Image Labs (dentro de la cual está DxOMark) es una empresa totalmente independiente de DxO, que se centra en comercializar productos para usuario final como la curiosa DxO ONE Camera.

Le preguntábamos al Sr. Touchard por más detalles sobre su proceso y metodología de pruebas, y ahí nos confirmaba esa diferencia entre las pruebas que realizan a cámaras DSLR y objetivos —donde se centran en el análisis de la imagen RAW a través de métricas objetivas— y las que realizan a smartphones, donde lo que se evalúan "son las imágenes JPEG finales que se obtienen desde la cámara".

En ese análisis hay tanto medidas objetivas como un análisis perceptual. En este último caso la metodología es rigurosa: "se toman imágenes de escenas bien definidas y que siempre son las mismas". Los ingenieros de DxOMark que toman esas imágenes "lo hacen siempre a los mismos sitios (unos 50 aproximadamente), y toman las imágenes de la misma forma, algunas con trípodes y algunas sin ellos. Incluso se especifican las horas del día a las que tomarlas y el clima necesario para poder hacer pruebas". Si el clima, falla, nos explica, esperan a que las condiciones sean las adecuadas, algo que hace que los tiempos para completar un análisis puedan alargarse.

Al final, destacaba, "cuentan con unas 1.500 imágenes tanto en interiores (incluidas las del laboratorio) como en exteriores, además de dos horas de vídeo". Muchas de esas imágenes no se evalúan "como un todo", sino que antes de hacer ese análisis perceptual se recortan porciones de la foto sobre las que precisamente se quiere analizar algún aspecto como el color, la exposición, el nivel de detalle o el ruido.

Ene se análisis perceptual, de hecho, no solo se toman las imágenes con la cámara analizada, "sino que se toman con varias cámaras adicionales que sirven como referencia". Se eligen al menos una cámara muy buena, otra normal y otra algo peor (ya evaluadas por DxOMark) con las que se establecen puntos de referencia para luego evaluar esas imágenes (o esos recortes de imágenes) a la hora de buscar cómo se comportan en distintas condiciones.

Esos análisis se han ido actualizando además como el tiempo, nos comentaba el Sr. Touchard, que indicaba cómo se han añadido las pruebas para bokeh en las que los smartphones "habitualmente introducen artefactos". El efecto que se consigue con una cámara DSLR es mucho más depurado, y eso hace que precisamente ese análisis de las fotos con ese efecto de profundidad de campo, cada vez más populares entre los usuarios de smartphones, haya pasado a formar parte de ese campo de pruebas.

¿Cómo decide DxOMark cuál smartphone analizar y cuál no? Aquí tienen un problema claro, y es la falta de tiempo: teniendo en cuenta que un análisis completo le puede llevar al equipo "unos cinco días", deben ser cuidadosos al seleccionar qué dispositivos analizar. Las demandas de los usuarios son numerosas —algunos como LG V30 son muy demandados, pero simplemente no han tenido ocasión de poder realizar esas pruebas—, pero como nos explicaba el Sr. Touchard, tratan de dedicarse a los más populares entre los usuarios. Eso sí, nos aclara, es DxOMark la que elige esos dispositivos a analizar, "nadie más toma la decisión".

El trabajo de los ingenieros de DxOMark hace que precisamente sea allí donde se tenga una idea clara de qué influirá más en el futuro en las cámaras de nuestros smartphones, y para el Sr. Touchard una de las tendencias clave era el del uso de varios módulos fotográficos (sensor + lente + chip). En su opinión los sistemas de cámara dual serán cada vez más numerosos.

De hecho, sorpresas aquí, porque según este directivo la posibilidad de integrar aún más módulos en los smartphones del futuro es una opción perfectamente factible. "Para mejorar la calidad de las fotos el grosor de los smartphones es un problema. La única forma de mejorar esa calidad es incrementar la superficie del sensor, del silicio, y no puedes hacerlo con uno, tienes que hacerlo con varios".

Según su opinión "veremos móviles con tres y cuatro módulos en el futuro", lo que hará que en efecto los móviles con sistemas de cámara triple y cuádruple acaben siendo una realidad que según Touchard ya está siendo evaluada en laboratorios de fabricantes en prototipos "multimódulo" que entre otras cosas dan opción a mayores opciones en temas como el zoom. La previsión, desde luego, es de lo más interesante.

La perspectiva, una vez más, lo es todo

De un tiempo a esta parte DxOMark se ha convertido en el rasero bajo el cual muchos miden la calidad "teórica" de una cámara. Sus análisis y sobre todo sus puntuaciones se han ido convirtiendo en argumento para los que defienden ciertas cámaras móviles, tanto entre los que escribimos sobre esos smartphones en medios como incluso en la propia industria.

Lo demuestran las últimas presentaciones de producto de Google o Huawei: en ellas se mencionó de forma patente esa excelente puntuación DxOMark de las cámaras de sus nuevos móviles, transmitiendo el mensaje de que esas valoraciones dejaban claro que en efecto estamos ante las mejores cámaras móviles del mercado actual. ¿Es eso cierto?

No necesariamente, claro. Para empezar está esa confusa nota final que trata de describir la calidad absoluta de una cámara móvil (o no móvil), y que es, como cualquier puntuación, una valoración que tiene un componente subjetivo por parte de quienes la han analizado.

Ocurre lo mismo con los análisis de Xataka, que cuentan con una valoración global y una serie de puntuaciones independientes para ciertos apartados en móviles y portátiles, por ejemplo: esa es nuestra visión de estos productos, pero cada uno de ellos puede ajustarse mejor o peor a ciertos usuarios y necesidades, que obviamente no coinciden con la nuestra valoración o con otra de otro análisis distinto. Como ocurre con esas valoraciones numéricas, los factores en juego en la decisión son muy difíciles de considerar, así que simplemente tratan de establecer referencias homogéneas para los que los evalúan.

Eso también ocurre en el caso de DxOMark, cuyas puntuaciones deben ser además analizadas más en detalle por parte de los usuarios que quieran saber dónde se comporta mejor o peor una cámara móvil según las pruebas de sus responsables. Eso es lo que ofrecen las puntuaciones independientes de cada apartado de las que hablábamos, y eso es lo que al final debe ser crucial para los usuarios.

La comparación es sencilla. Imagina que quieres valorar qué cámara te interesa más, si la del iPhone 8 Plus (94 en puntuación global DxOMark) o la del Google Pixel 2 (98 en puntuación global). Si te interesa un móvil que gestione bien el color o el enfoque automático tu decisión es clara: tira hacia el Pixel 2. Si por el contrario quieres mejor gestión del modo retrato y del bokeh, deberías apostar por el iPhone 8 (55 puntos por 45 del Pixel 2, además de contar con esa segunda lente "tele" 2x que también ayuda). Eso, claro, si te fías de las pruebas de DxOMark.

La labor de DxOMark es por tanto ambiciosa y desde luego toda la información que nos ofrecen sobre su metodología y resultados deja claro que estamos ante unas pruebas rigurosas, pero como en todo, ese número final que aparece en cada uno de esos análisis debe ser visto con cierta perspectiva.

Como cualquier otra valoración, no es una verdad absoluta, ya que otros apartados —como la experiencia de usuario, la aplicación de cámara, el propio funcionamiento del teléfono en cuanto a fluidez o recursos— influyen mucho en esas sensaciones y resultados que dan estas cámaras móviles a sus usuarios.

En Xataka | Benchmarking en móviles, poniéndole números a la potencia