Móviles capaces de detectar objetos 3D en tiempo real: Google lo hace posible a través de su IA

Uno de los puntos capitales en la investigación de Google es el análisis de imágenes. Las sugerencias automáticas de Google Fotos o las capacidades de Google Lens son buenos ejemplos, así como la reciente noticia de que la compañía ya tiene lista su nueva capa de análisis para entender qué hay presente en cada foto. Si vamos un poco más allá, a la detección de objetos como tal, Google también tiene algunos ases sobre la manga.

Google acaba de anunciar el lanzamiento de MediaPipe Objectron, su tecnología móvil para detección de objetos 3D en tiempo real, algo que permite al smartphone reconocer tamaño y orientación de un objeto, lo que abre varias puertas de aplicación.

Objectron es capaz de calcular cuadros 3D en tiempo real

MediaPipe es el marco multiplataforma de Google para crear distintas canalizaciones de procesamiento de datos. Objetron se incluye dentro de dicho marco, como canalización móvil para detección de objetos 3D en tiempo real. Grosso Modo, Objectron detecta objetos a través de imágenes 2D, para posteriormente estimar su orientación y tamaño a través de un modelo de aprendizaje automático entrenado en un conjunto de datos 3D. En otras palabras, es capaz de detectar objetos 3D a partir de una sola imagen RGB.

A nivel de estructura básica, el modelo tiene una arquitectura de codificador-descodificador basada en MobileNetV2, las redes neuronales de Google para clasificación y detección visual. Mediante dichas redes, la proyección 2D de la imagen y un algoritmo de estimación 3D, el modelo es capaz de procesar una salida en 3D de dicho objeto.

Para mitigar las posible fluctuaciones en la imagen, Google ha trabajado bajo el mismo marco de detección y seguimiento para sus objetos 2D. Esto se traduce en algo que ya te sonará si sabes cómo trabaja Google: segmentación de imagen.

• Se captura la imagen original en 2D
• Se le aplican cuadros delimitadores para la posterior detección del objeto
• Se detecta el objeto mediante distribución gaussiana
• Se aplica la máscara de segmentación

Google destaca que el modelo es tan ligero que puede funcionar a tiempo real a 26 FPS en un móvil de gama alta, en concreto, con la Adreno 650 (la GPU del reciente Snapdragon 865). La nueva solución ya está disponible para quien quiera probarla, con el fin de que se desarrollen nuevos casos de uso y aplicaciones.

Es relevante esta nueva propuesta, máxime teniendo en cuenta que a día de hoy hay potentes plataformas de realidad aumentada como AR Core en el caso de Google y AR Kit en lo que alude a Apple. Videojuegos, aplicaciones, fotografía, vídeo y demás pueden beneficiarse del reconocimiento de objetos.

Vía | Google