MAPI

Mapi ha sido un desafío interesante desde el primer momento. ¿Cómo utilizar las mismas tecnologías que Avatar, Mandalorian o Fortnite para hacer televisión en directo? Ya hay muchas televisiones usando Realidad Aumentada para incluir grafismos y datos, pero es la primera vez en televisión que se crea un personaje 3D que actúa en tiempo real y además es multicámara.

Queremos dar las gracias a TVE por invitarnos a su casa y permitirnos ayudarles en la creación de un contenido virtual pionero en el mundo y a Mediacrest por confiar en nosotros para el desarrollo de este formato. Adaptar Chiko Challenge y el flujo de trabajo de la televisión japonesa a las necesidades de un formato diario ha sido todo un reto tecnológico y artístico.

MAPI

Mapi es un personaje 3D de realidad aumentada creado por Iralta Virtual Production con tecnología de producción virtual multicámara con la colaboración de Mediacrest.

El diseño del personaje a partir de Chiko nos llevó necesariamente a revisar los referentes de personajes animados que funcionan en nuestra cultura, como Cleo y Cuquin de la  familia Telerín, y los personajes de animación más queridos de la cultura popular.

El reto tecnológico ha sido crear un personaje  3D que pueda hacer lo mismo que un actor de carne y hueso, un personaje híbrido mitad humano y mitad 3D que interactúa con el resto de actores y objetos reales. El diseño del personaje del artista Marcos Raya es un modelo 3D con cara de niña que expresa emociones, se ríe, se enfada, canta e improvisa junto al resto de personajes.

Este nuevo camino que estamos abriendo en la producción virtual, permite sacar la mejor interpretación de un actor y trasladar su actuación a un personaje 3D en tiempo real. La integración del 3D sobre la imagen real, dentro del flujo de trabajo de un concurso de televisión se hace de manera casi invisible para realización.

Esta nueva manera de producir contenidos audiovisuales cambia totalmente el patrón establecido desde hace muchos años donde la postproducción era algo que se hacía después de la grabación. Ahora la postproducción y la animación ocurren en tiempo real y en paralelo al rodaje por lo que el resto de actores pueden interactuar en directo con los elementos del decorado y los personajes 3D.

DESGLOSE TÉCNICO

Para llevar a cabo este proyecto, hemos tenido que construir a medida nuestros propios ordenadores y así poder procesar una gran cantidad de datos que debemos renderizar en tiempo real en 3 cámaras simultáneamente.

El modelo 3D de Mapi se posiciona en el espacio virtual gracias a un sistema de tracking instalado en las cámaras y en el personaje y que nos permiten saber el lugar que ocupa la actriz en el plato físico y virtual.

La captura facial traslada los gestos de la actriz al modelo 3D en tiempo real utilizando sistemas similares a los empleados en producciones internacionales de cine y videojuegos como: Avatar, King Kong o  Star Wars.  Además hemos utilizado la tecnología “machine learning” para que el software de captura facial aprenda en cada programa cómo mejorar  la expresividad de Mapi.

En esta producción virtual de realidad aumentada integramos las señales de vídeo de las cámaras, la iluminación del plató y los vídeos de las pantallas del decorado para mejorar la integración del personaje 3D en el escenario real y así aumentar el realismo.

La producción virtual  y el flujo de trabajo diseñado para este proyecto nos permiten producir una mayor cantidad de minutos de contenidos 3D de gran calidad.

Llega «Mapi» a TVE