Semantic Paint, o cómo llevarse el Microsoft Paint hasta la realidad aumentada

Todo el que tenga una mayoría de edad en esto de la informática se habrá topado con Microsoft Paint, un sencillo programa de dibujo que acompañó a los usuarios de los sistemas Windows, permitiendo desatar la creatividad de más de uno y poner mucho color en las dos dimensiones de la pantalla. En 2015 el lienzo ha pasado a tener profundidad, a jugar con las realidades virtuales y aumentadas.

Microsoft nos presenta un nuevo experimento con Semantic Paint, en él podemos rellenar con color los elementos que vamos viendo a través de unas gafas que captan la realidad y nos la muestran modificada según nuestros cambios. Esas gafas no son HoloLens, aunque bien podrían ser utilizadas en el proyecto.

Posiblemente no sea una demostración técnica tan espectacular como las realizadas en las presentaciones de HoloLens, pero es una muestra más de que el Microsoft Research Labs está en movimiento, sacando partido a la tecnología de Kinect. En resumidas cuentas, se registra un mapa 3D de la habitación, en tiempo real, y sobre él podemos cambiar el color de las cosas:

Lo más interesante no está en la calidad de la representación, sino en la identificación de elementos y superficies diferentes. Inicialmente el sistema solo ve un único objeto, que es la habitación, conforme va reconociendo objetos individuales los etiqueta y delimita, dándonos la posibilidad de colorearlos por separado.

Por esto, la gracia del asunto no está en colorear, sino en las capacidades de reconocimiento de los sistemas de escaneado en 3D, y de ahí, a entender el contexto en el que nos movemos, o se mueve un sistema inteligente: robots, coches, etc.

Para interactuar con los elementos, no solo podemos tocarlos en el espacio, también usar el reconocimiento de voz: si decimos “plátano”, él buscará esa fruta en el entorno. La tecnología de reconocimiento está en la nube - está continuamente aprendiendo -, por lo que es necesario que el conjunto esté conectado a la red de redes.

Este tipo de tecnologías de reconocimiento de objetos en el espacio son cruciales para industrias como la del automóvil, en las que los coches tienen cada vez más ojos. De hecho, los investigadores están transportando la misma idea, utilizando los láseres y sistemas lidar de los vehículos.

Más información | Microsoft