Presentación de mi proyecto de Realidad Aumentada y Publicidad

La pasada semana presenté mi proyecto "DETECCION Y LOCALIZACION DE ESTRUCTURAS PLANAS  PARA APLICACIONES DE REALIDAD AUMENTADA EN PUBLICIDAD" en la Universitat Politècnica de Catalunya (UPC)

Como ya comenté meses atrás en distintos posts, este blog surgió como consecuencia de mis trabajos en el mundo de la Realidad Aumentada para aplicaciones de Publicidad, dentro de  un proyecto relacionado con mis estudios de ingeniería electrónica en la UPC. Terminado este proyecto, tuve la oportunidad de presentarlo la semana pasada en las instalaciones en el Campus Nord de la Escola Tècnica Superior d'Enginyers de Telecomunicació de Barcelona (ETSETB) y exponer con cierto detalle algunos de los trabajos realizados hasta su finalización.

distintos momentos de la presentación del proyecto

Durante la exposición, hice una breve introducción a la realidad aumentada y a las diferentes tecnologías que posibilitan el registro (cálculo de la posición y orientación relativa de la cámara real respecto de la escena), explicando las ventajas y soluciones que aporta el tracking visual sin el uso de marcadores frente a otras tecnologías más usuales como la geolocalización o el tracking visual con marcadores, que presentan algunos problemas. 

A continuación, comenté muy brevemente algunos ejemplos característicos del uso de la Realidad Aumentada en Publicidad y de las propuestas técnicas consultadas para la elaboración del proyecto. Hice una detallada explicación de los algoritmos que componen la solución técnica propuesta y que permiten la calibración de la cámara, la detección de estructuras planas en una imagen real procedente de un dispositivo de captura, el cálculo de la pose de éstas y el renderizado de una imagen plana perfectamente integrada y orientada con ellas.

Finalmente, comenté los resultados obtenidos a la hora de verificar el buen funcionamiento de la solución propuesta en el proyecto y las conclusiones finales en cuanto a consecución de los objetivos propuesto el la continuación con los futuros trabajos para el desarrollo y mejora de la propuesta.

Dejo a continuación la presentación multimedia que utilicé:

Tuve la oportunidad también de realizar una demostración del funcionamiento de la solución propuesta. La experiencia consistió en la detección a través de una cámara conectada al ordenador de la fachada de uno de los edificios del campus, que se observaba a través de la ventana de la sala. Una vez detectada, la aplicación desarrollada en el proyecto posiciona y orienta dicha fachada para posteriormente renderizar sobre ella una imagen plana perfectamente integrada y orientada, a modo de anuncio publicitario.

Se estableció a continuación una interesantísima conversación e intercambio de impresiones, entre las que no faltaron ideas para el posterior desarrollo de la solución técnica y propuestas de mejora. Todo ello en un ambiente muy distendido y agradable. Puedo afirmar con rotundidad que disfruté presentando mi proyecto y creo que resultó interesante para todos los asistentes.

A la conclusión, tuve la enorme satisfacción de recibir unánimes felicitaciones por el buen trabajo desarrollado, por el entusiasmo y profesionalidad mostrados hasta su finalización y por el buen funcionamiento de la propuesta técnica presentada.

Me gustaría volver a agradecer a los profesores que me escucharon, su atención, comentarios y felicitaciones. Igualmente agradecer a los que me escucharon y tanto me han apoyado durante estos meses de dedicación al proyecto. Solo ellos saben lo que ha supuesto para mí su ayuda y confianza.

Continuaré desarrollando este blog con más entradas en las que comentaré los pormenores de este proyecto y sus resultados. Seguiré hablando de Realidad Aumentada. Espero que las encontréis interesantes y sean de vuestro agrado. Como siempre, comentad por favor todo lo que consideréis que pueda aportar. Vuestra participación siempre es importante. Gracias!!

Motivación de mi proyecto: Publicidad y Realidad Aumentada

La Realidad Aumentada es una tecnología incipiente en el mundo de la publicidad. La posibilidad de incluir contenido digital en una secuencia de vídeo o en la realidad observada a través de una cámara permite la generación de anuncios virtuales sobre imágenes reales. Datos, logotipos, fotografías e incluso secuencias de vídeo son añadidas sobre la realidad, perfectamente alineados con ésta, para generar novedosos anuncios publicitarios que parecen cobrar vida. La Realidad Aumentada no sustituye la realidad sino que la complementa, permitiendo personalizar, dotar de movimiento y sonido, la medición de resultados y la interactuación de las personas con los anuncios. En definitiva, el uso de tecnologías de Realidad Aumentada en publicidad permite a los nuevos anuncios llamar la atención de potenciales clientes.

ejemplo de publicidad en fachada
conseguido

Son ya numerosas las aplicaciones de Realidad Aumentada que conectan el mundo real con el mundo virtual a partir de la detección de patrones. Las más prestigiosas marcas utilizan estas tecnologías en sus campañas publicitarias: IKEA, Adidas, Ford, BMW, Lego, FOX, Paramount, Ray Ban, Mac-Donalds son algunos de los ejemplos más conocidos, y muchas otras marcas están utilizado ya la Realidad Aumentada para llegar mejor a sus clientes potenciales.

El principal reto al que deben enfrentarse los sistemas de Realidad Aumentada es el denominado registro, que consiste en calcular la posición relativa de la cámara real respecto de la escena para poder generar imágenes virtuales correctamente alineadas con esa imagen real. Este registro debe ser preciso y robusto, y puede realizarse empleando diferentes tipos de sensores y técnicas. Las técnicas más extendidas son las que utilizan la geolocalización (localización por GPS) o el tracking visual (que emplea técnicas de visión por computador). Dentro de las segundas, las más utilizadas son las técnicas de tracking con marcas. La posibilidad de detectar un patrón en una secuencia de vídeo o en la realidad observada a través de una cámara permite la inclusión de contenido virtual sobre imágenes reales.

Los principales problemas que presentan las técnicas de geolocalización son los llamados "cañones urbanos", las zonas en las que las señales GPS de satélite se bloquean. Mientras que las técnicas de tracking con marcas presentan otro tipo de problemas como la identificación (oclusiones, puntos de vista, mala iluminación, etc), el seguimiento (inicio automático y recuperación del tracking al perder las referencias) y los entornos no controlados (tracking sin referencias previamente conocidas).

Dentro del tracking visual se están desarrollando alternativas al tracking con marcas como las nuevas tecnologías de tracking sin marcas, que emplean únicamente características naturales de la escena, sin la necesidad de llenar de patrones el campo de visión de la cámara. Muy al contrario, la posibilidad de detectar estructuras físicas que sean altamente detectables desde el punto de vista de la visión por computador como objetos, edificios, etc, permite situar sobre ellas anuncios virtuales; abriendo un amplio mundo de posibilidades para el sector publicitario.

Mi motivación

La motivación de este proyecto de "Detección y localización de estructuras planas para aplicaciones de Realidad Aumentada en Publicidad" es la aplicación de las nuevas tecnologías de Realidad Aumentada basadas en tracking sin marcadores dentro del mundo de la publicidad. Técnicas que son diferentes a las ya existentes de uso de marcadores o posicionamiento por geolocalización. Así, la principal aportación de este proyecto es una solución técnica para la detección y localización de estructuras planas en una secuencia de vídeo o en una imagen real sin el uso de técnicas de geolocalización o marcadores y la posibilidad de añadir sobre ella información virtual, tanto en ámbitos interiores como exteriores.

ejemplos conseguidos de publicidad en fachada e interiores

Los campos de aplicación de las técnicas propuestas en este proyecto pueden ser muchos, industria, diseño, medicina, arquitectura, educación y formación, ocio, etc. No obstante, el proyecto se plantea dentro del mundo de la publicidad por ser éste un sector de potencial crecimiento para estas tecnologías de Realidad Aumentada  en el presente y en el futuro.

Adicionalmente, una vocación personal por la formación y el gusto por comunicar, interactuar y compartir han motivado la creación de este blog ARexperience, en el que poder reflejar todos aquellos conceptos y experiencias relacionados con la Realidad Aumentada que han sido fundamentales para la búsqueda de información, preparación e inmersión inicial en el mundo de la Realidad Aumentada y de la Visión por Computador. En el blog se pueden encontrar pequeñas aplicaciones ARToolKit que se han realizado para experimentar y comprender mejor el funcionamiento de sus funciones, el manejo de sus variables, etc. También es posible encontrar en él algunos de los conceptos básicos de la visión por computador, el blending y la visualización 3D; conceptos a los que se irán añadiendo otros en futuras entradas. 

Ubicando mi proyecto: Publicidad y Realidad Aumentada

Numerosísimos son los ejemplos de utilidad y aplicación de la Realidad Aumentada que en la actualidad existen en el campo de la Publicidad. Igualmente, y en consecuencia si se tiene en cuenta la aplicación de estas innovadoras tecnologías en otros muchos campos, existen numerosas propuestas técnicas desarrolladas y/o en continuo desarrollo que posibilitan la creación de aplicaciones y la explotación de todas las posibilidades que la Realidad Aumentada ofrece. En este post citaré algunas aplicaciones representativas que me han llevado a descubrir la necesidad de proponer una solución técnica a las necesidades de detección y localización de objetos planos en una imagen real sin la existencia de marcadores y el “blending” de una imagen virtual 2D sobre estos que se proponen en este proyecto.  

London National Gallery

AR London National Gallery

Los principales museos del mundo están apuntándose al uso de la Realidad Aumentada para publicitarse y para potenciar la iteración de los visitantes con sus colecciones. La London National Gallery   hizo una campaña publicitaria en Trafalgar Square para publicitarse. En ella,  apuntando con un dispositivo móvil hacia la fachada del museo aparecía un anuncio publicitario sobre sus nuevas aplicaciones, apuntando hacia una de las estatuas de la plaza aparecía un vídeo explicativo, o en las escaleras de la Galería aparecía un dragón. Este es un buen ejemplo de detección y localización en exteriores y sin marcadores.


Catálogo IKEA
No por archiconocido y renombrado se puede dejar de nombrar un clásico en el mundo de la publicidad con realidad aumentada. Desde hace algunos años, la marca IKEA  permite al cliente visualizar sus productos y colocarlos en su ubicación final, perfectamente alineados con el entorno real. Este es un buen ejemplo de utilización de marcadores en ambiente interior. La solución que se propone en este proyecto puede evitar el uso de marcadores para conseguir las mismas prestaciones.

AR en el catálogo de IKEA

Edificio N Building

AR en edificio N Building

N building es un edificio comercial que está situado cerca de Tachikawa (Tokio). Su principal característica son sus paredes, forradas de códigos QR permiten dar información a sus visitantes sobre los establecimientos que allí se encuentran y sobre sus productos y servicios. Mediante la descarga de una aplicación para Smartphones, es posible enfocar su cámara sobre el edificio y obtener abundante información sobre los establecimientos presentes. Éstos pueden publicitarse y, además, según la época del año mostrar algún otro tipo de información; por ejemplo, un árbol de navidad en diciembre.

Este es otro buen ejemplo de utilización de marcadores en ambiente exterior. Al igual que en el ejemplo anterior, la solución propuesta puede evitar el uso de marcadores para conseguir las mismas prestaciones.

Mi proyecto de Realidad Aumentada y Publicidad

El primer post de presentación de ARexperience ya comentaba el inicio de este blog como consecuencia de mis trabajos en el mundo de la Realidad Aumentada para aplicaciones de Publicidad, dentro de  un proyecto relacionado con mis estudios de ingeniería electrónica en la Universitat Politècnica de Catalunya (UPC): "DETECCION Y LOCALIZACION DE PLANOS  PARA APLICACIONES DE REALIDAD AUMENTADA EN PUBLICIDAD". Inicio ahora una secuencia de entradas en las que comentaré los pormenores de este proyecto y sus resultados. Espero que los encontréis interesantes y sean de vuestro agrado. Como siempre, comentad por favor todo lo que consideréis que pueda aportar. Vuestra participación siempre es importante. Gracias!!

Detección planar en exteriores

La Realidad Aumentada es una tecnología incipiente en el mundo de la publicidad. La posibilidad de detectar un patrón en una secuencia de video o en la realidad observada a través de una cámara permite la inclusión de anuncios virtuales sobre imágenes reales. Datos, logotipos, fotografías e incluso secuencias de vídeo son añadidas sobre la realidad, perfectamente alineadas con ésta para generar novedosos anuncios publicitarios que parecen cobrar vida. La Realidad Aumentada permite personalizar, dotar de movimiento y sonido, medir los resultados y conseguir la interactuación de las personas con los anuncios; en definitiva, permite llamar la atención de potenciales clientes.

Son ya numerosas las aplicaciones de Realidad Aumentada que conectan el mundo real con el mundo virtual a partir de la detección de patrones. Las más prestigiosas marcas utilizan estas tecnologías en sus campañas publicitarias: IKEA, Adidas, Ford, BMW, Lego, FOX, Paramount, Ray Ban, Mac-Donalds  y un sinfín de marcas están utilizado la Realidad Aumentada para llegar mejor a sus clientes potenciales.

Sin embargo, nuevas tecnologías permiten los mismos objetivos sin la necesidad de llenar de patrones el campo de visión de la cámara. Muy al contrario, la posibilidad de detectar directamente objetos, edificios, etc, y situar sobre ellos anuncios virtuales abre un amplio mundo de posibilidades para el mundo publicitario. El reto: la detección y localización de objetos en una imagen real sin la necesidad de marcadores.

Y es aquí en donde se enmarca este proyecto. Se plantea en él la posibilidad de añadir información virtual sobre objetos planos detectados y localizados en una imagen real sin necesidad de marcadores, tanto en ámbitos interiores como exteriores. Más concretamente, este proyecto desarrolla un algoritmo de “Blending” de imágenes virtuales 2D sobre las paredes planas de un objeto detectado, por ejemplo un edificio, sin la necesidad de existencia de marcadores.

Si bien es cierto que los campos de aplicación de las técnicas propuestas en este proyecto pueden ser muchos, industria, diseño, medicina, arquitectura, educación y formación, ocio, etc, el proyecto se enmarca dentro del mundo de la publicidad simplemente para poder concretar algunos aspectos. El siguiente vídeo muestra un ejemplo de Realidad Aumentada en l presentación del nuevo Volkswagen Beetle; impresionante:



 Los objetivos iniciales que nos marcamos son:

1. Detección de planos en imágenes interiores y exteriores
2. Localización de estos planos
3. Calibración de la cámara y obtención de sus parámetros intrínsecos
4. Blending de imágenes virtuales sobre los planos
5. Implementación en tiempo real
6. Integración en un sistema de realidad Aumentada. 

El correo postal también se apunta a la Realidad aumentada

Egipcios, romanos y mayas ya utilizaban la comunicación postal. Rowland Hill creó el primer sello postal, el famoso Penny Black de la Reina Victoria, como medio de franqueo, tras su conversación con una posadera escocesa. Ahora, las más modernas tecnologías de Realidad Aumentada se asocian a uno de los sistemas de comunicación más antiguos, el correo postal.

Correos ha presentado en el Salón de Actos de la Secretaría de Estado de las Telecomunicaciones y para la Sociedad de la Información un sello dedicado a las TICs (Tecnologías de la Información y de la Comunicación) que incorpora por primera vez un código QR a través del que podemos descargar la aplicación de Realidad Aumentada que nos permitirá disfrutar de una nueva experiencia en todos los sellos que, a partir de ahora, incluyan esta opción.

El sello, que ha sido puesto en circulación en marzo de 2014 con una tirada inicial de 26.250.000 unidades, une los dos mundos: el postal y el de las nuevas tecnologías. Las TIC han provocado un cambio radical en la comunicación, que ahora es bidireccional, en el sentido de que ha permitido que un individuo pueda recibir información y hacer partícipe en tiempo real al resto del mundo de una noticia, opinión o conocimiento. Y es en este contexto tecnológico en el que Correos ha puesto en marcha un sello dedicado a las TIC que ofrece información a través de herramientas como el código QR, los emoticonos y la realidad aumentada:

Por primera vez, la realidad aumentada se incorpora al sello

Los sellos de la emisión “TIC. Emoticonos” incluyen un código QR que permite descargar la aplicación “Sellos Realidad Aumentada” de Correos. A través de esta aplicación podremos, al enfocar el móvil de forma continua al sello, visualizar en realidad aumentada en qué consiste esta nueva tecnología y las posibilidades que ofrece su uso en los sellos. A este primer sello de realidad aumentada, se le sumarán otros dos más a lo largo de este año. El primero será el que se emita con motivo del IV centenario del fallecimiento de El Greco, en el que se podrán revisar todas las emisiones filatélicas que Correos ha dedicado a este pintor. El segundo será la emisión dedicada a la nueva serie de numismática, concretamente la dedicada a la peseta en billete y moneda, donde podremos conocer los procesos de fabricación y curso de las mismas.

La Realidad Aumentada y sus aplicaciones

Interesante vídeo sobre la Realidad Aumentada y sus aplicaciones. 

En el siguiente vídeo, Denis Dovgal nos explica qué es la Realidad Aumentada, su historia y la infinidad de posibilidades que tiene en campos tan diferentes como el de la industria, la publicidad o el ocio.

AR Aplicaciones

La prestigiosa publicación británicac The Economist aseguró en Septiembre de 2009 que “intentar imaginar como se utilizará la Realidad Aumentada es como intentar predecir el futuro de la tecnología web en 1994”. Según la consultora Juniper Research, la Realidad Aumentada en dispositivos móviles generará más de 700 millones de dólares en el 2014, con más de 350 millones de terminales móviles con capacidad de ejecutar este tipo de aplicaciones. 

Una de las principales causas de este crecimiento en el uso de la Realidad Aumentada (RA) es debido a que mediante esta tecnología se amplían los espacios de interacción fuera del propio ordenador. Todo el mundo puede ser un interfaz empleando RA sobre dispositivos móviles. Existen multitud de ámbitos de aplicación de la RA; prácticamente en cualquier área de trabajo puede tener sentido desarrollar aplicaciones de RA. En este post comentaré brevemente algunos de ellos a modo de resumen; aunque iré creando específicas para aplicaciones que me llamen la atención.

Catálogo AR de IKEA

En el campo de la publicidad cada vez más empresas utilizan la RA como reclamo publicitario. Desde 2008, empresas como IKEA, Adidas, Ford, BMW, Lego, FOX, Paramount, Doritos, Ray Ban y Mac-Donalds estan utilizado estas técnicas.

En el post "AR Origenes" podemos ver sendos vídeos ejemplo de las empresas National Geographic o Goertz. Veamos como lo explica el siguiente vídeo:

diseño AR en arquitectura

También en el campo de la arquitectura numerosos son los despachos y oficinas técnicas que utilizan la Realidad Aumentada para compartir sus diseños con sus clientes.

No cabe duda de las ventajas que introduce esta tecnología a la hora de exponer o presentar un diseño en 3D sobre un soporte 2D.




En el campo industrial las aplicaciones son numerosas. Podemos encontrar esta tecnología en todas las etapas del proceso industrial; desde el diseño hasta la comercialización, pasando por la fabricación, el mantenimiento, el almacenamiento y distribución o la reparación. Numerosas son las compañías que introducen esta tecnología desde que en 1992 los ingenieros de Boing Tom Caudell y David Mizell fuesen pioneros en este campo. El siguiente vídeo muestra la reparación del futuro según BMW:

invizimals de Sony

En el campo del ocio y del entretenimiento el potencial que demuestra la Realidad Aumentada es inmenso. La capacidad de interacción que ofrece esta tecnología está siendo explotada ya por compañías como Sony con sus Invizimals, como ya mostramos en el post "AR Origenes".




También en el campo de la medicina se está introduciendo el uso de la Realidad Aumentada. Quirófanos, formación y entrenamiento de de doctores y cirujanos constituyen las principales aplicaciones en la actualidad. Toda la información y datos 3D que en tiempo real proporcionan aparatos de resonancia magnética o tomografías pueden superponerse en la imagen real del paciente, dando una visión de rayos X al
especialista. La siguiente imagen muestra una aplicación de la RA a la traumatología:

AR en medicina

Finalmente, y no menos importante, el mundo de la educación y formación también aprovecha las bondades de esta tecnología. La aplicación más inmediata es la generación de material y libros combinando técnicas tradicionales con técnicas novedosas como la Realidad Aumentada.



El siguiente vídeo muestra una extraordinaria experiencia del uso de códigos QR y Realidad Aumentada en educación, presentada por Domingo Santabárbara y Alma Ariza en el Congreso Nacional de Contenidos Educativos Digitales 2012 y premiada por Educared. Se trata del proyecto "Valdespartera es cultura" y está realizado por alumnos de 3 años.

AR Aplicaciones: También en las tiritas

Cada día hay más aplicaciones para dispositivos móviles, tanto para sistemas iOS como Android, y la presencia de realidad aumentada en ellas se está normalizando. Con enormes posibilidades creativas, las marcas están incorporándola en sus campañas publicitarias. Algunas, como Johnson & Johnson, han ido más allá.

Se trata de un producto pensado para que los más pequeños se distraigan rápidamente tras darse un golpe o hacerse una pequeña herida. ¿Cómo? Incorporando realidad aumentada a las tiritas. Al enfocar las tiras adhesivas con la cámara del smartphone o la tablet surge una animación, en este caso de los Teleñecos: la rana Gustavo o la cerdita Peggy saludan a los más pequeños desde el mundo digital.

La aplicación es gratuita y está disponible para iPhone y iPad. Aun así, para poder disfrutar de ella deberemos viajar a Estados Unidos, único país dónde Johnson & Johnson comercializa las tiritas Magic Vision con realidad aumentada. Una lástima: seguro que más de un pequeño acabaría llenándose brazos y rodillas con las tiritas únicamente por diversión.

ARexperience

ARexperience es un blog que nace a partir de mis trabajos en el mundo de la REALIDAD AUMENTADA para aplicaciones de publicidad. En el blog hablaremos de conceptos sencillos, herramientas y aplicaciones de la RA, además de los progresos de mis trabajos en el proyecto.

Mi interés por la Realidad Aumentada surgió hace algo más de un año cuando descubrí los trabajos de Raúl Reinoso (@tecnotic) y su proyecto Aumentame, principalmente dirigidos hacia el mundo educativo. Desde ese momento, empecé a investigar y a documentarme sobre lo que es y lo que abarca la Realidad Aumentada; y sus aplicaciones en campos tan diversos como el de la industria, el ocio o la publicidad. He participado en diversos cursos, seminarios y jornadas técnicas de formación relacionadas con el tema, como las interesantísimas jornadas sobre REALIDAD AUMENTADA con Vuforia en la academia Wayra, organizada por fundación Telefónica, Comunidad Weprendo y CSEV; a las que ya me he referido en este blog. En los últimos dos cursos, hemos trabajado también el tema de la Realidad Aumentada en el Master de Formación del Profesorado de la Universitat de les Illes Balears (UIB), en el que imparto docencia. Hemos realizado trabajos online y hemos realizado sesiones demostrativas.

Actualmente estoy trabajando, también, en un interesantísimo proyecto de Realidad Aumentada aplicada a la publicidad. Es un proyecto relacionado con mis estudios de ingeniería electrónica en la Universitat Politècnica de Catalunya (UPC) y me está permitiendo traspasar la frontera del espectador o del usuario para conocer desde un punto de vista más técnico las aplicaciones de Realidad Aumentada, y adentrarme en el mundo de la visión por computador.

Por todos estos motivos, y por alguno más que ahora no viene al caso, me he decidido a crear este nuevo blog dedicado a la REALIDAD AUMENTADA. En él trataré de contar conceptos sencillos, herramientas y aplicaciones de la RA, además de los progresos de mis trabajos en el proyecto.

Espero que este nuevo blog sea de vuestro agrado y, como siempre, comentad por favor todo lo que consideréis pueda aportar. Vuestra participación siempre es importante. Gracias