Integración de CGI (Parte II Primeros casos)

Primeros Casos de integración.-

Bienvenidos a la segunda entrega de esta pequeña guía para lograr la integración de elementos CGI en tomas reales.

Entraremos en materia con 3 ejemplos básicos para poder analizar algunos conceptos fundamentales.

Si bien no son tutoriales paso a paso, procuraremos no dejar de lado ninguno de los aspectos determinantes para lograr nuestros objetivos.

Recalcamos también, que debido a la variedad de situaciones con las que podemos encontrarnos para integrar elementos digitales, no existe una metodología o un workflow único a seguir.

Sin más preámbulo analicemos nuestros 3 resultados con el siguiente vídeo.

Caso 1 «la nave industrial»

En nuestro primer caso veremos cómo lograr la integración de un objeto tridimensional en una fotografía.

En este primer caso, aprovecharemos la perspectiva de una fotografía para generar un escenario mediante la proyección de planos.

De esta manera tendremos una especie de habitación tridimensional que nos servirá para insertar nuestro contenido directamente en el programa 3D.

Para que este procedimiento funcione, la fotografía de la que partamos tiene que ser bastante grande (en el caso del ejemplo es de 7000 * 4000) para luego poder “acercarnos” a ella sin temor a que se pixele.

La foto también está pensada de forma que nos aporte una zona abierta que sirva para colocar nuestro objeto 3D. Con un suelo sin obstáculos.

Existe un procedimiento llamado Camera Mapping que permite más libertad de acción que este que vamos a describir ahora. Sin embargo, requiere de una inversión mayor de tiempo. Puede que lo mencionemos en el futuro.

Ahora nos valdremos de una función en Photoshop para crear nuestro escenario rápidamente.

Paso1 Herramienta Punto de fuga

Una vez elegida nuestra imagen, la abrimos en Photoshop y en la lista de filtros activamos el que se llama Punto de fuga.

El filtro de punto de fuga es útil en Photoshop porque nos permite realizar modificaciones a la imagen, respetando la deformación y proyecciones de la perspectiva de esta.

Cuando se abre el panel de punto de fuga, tenemos nuestra imagen al lado derecho y al izquierdo las herramientas para crear nuestros planos de referencia.

 

Elegiremos el primer botón para determinar mediante cuatro puntos el primer plano de la perspectiva. Podemos usar cualquiera, pero en nuestro caso es recomendable elegir crear el que corresponde al suelo de la nave.

Podemos crear los cuatro primeros puntos aproximando el resultado de la perspectiva, teniendo como guía el color de la malla que se crea.

Si la malla es azul, entonces hemos adivinado la perspectiva. Si la malla es roja o amarilla, Photoshop nos advierte que ese plano que estamos dibujando no corresponde a una distorsión de punto de fuga válido.

Una vez que hayamos determinado el plano del suelo volveremos a crear los siguientes planos, a partir de este.

Con la misma herramienta con la que hemos creado esos primeros 4 puntos, ahora simplemente arrastraremos desde cada 1 de sus costados, para generar planos que hereden la distorsión de la perspectiva que hemos creado en el suelo.

Además, esto asegura una consistencia en la creación de planos de proyección.

Al ser planos derivados del plano principal del suelo, se ven obligados a respetar la perspectiva inicial.

Por eso es necesario crear el primer plano con todo el cuidado posible. Si se quiere eliminar uno de los planos, o incluso el principal, para comenzar de nuevo, se puede hacer con la tecla de retroceso del teclado (backspace).

Serán dos los planos necesarios para completar las paredes del fondo y del extremo izquierdo de la nave.

a partir de 1 de ellos terminaremos de trazar el plano que corresponde a la proyección del techo. En mi caso fue a partir del lado izquierdo.

una vez que tenemos toda la cuadrícula generada pasamos a presionar el botón que se encuentra en el extremo superior izquierdo y qué es el responsable de poder exportar la información de perspectiva a la aplicación 3D.

veremos que cuando desplegamos el menú nos encontramos con opciones de exportación.

La que nos interesa en este caso es la que tiene una extensión 3Ds. Que es un formato estándar de malla 3D para cualquier aplicación. (en nuestro caso usaremos 3DsMAX)

Dependiendo del tamaño de nuestra imagen el proceso de exportación puede ser un poco lento.

Hay que tener paciencia, porque parecerá que el programa sea colgado ya que no existe una barra de progreso que nos diga cuando termina y cuándo no.

solo nos daremos cuenta de ello cuando podamos volver a utilizar el cursor en Photoshop.

El resultado de la exportación será un archivo con extensión 3DS, y varias imágenes correspondientes a cada 1 de los planos de proyección. En nuestro caso 4 planos (suelo, dos paredes y techo).

De forma automática también se crea un archivo de extensión V P E que son las siglas en inglés de Vanishing Point Extension. Este formato es el equivalente del formato 3DS, pero para ser legible en after effects. de momento no nos interesa.

Paso 02 El archivo en 3DsMax

Ahora ejecutamos 3dsMAX e importamos el archivo 3Ds. Como todo el material de la exportación se encuentra en la misma carpeta, no tendremos que hacer nada para que se importe correctamente.

Sólo hay un pequeño detalle que debemos salvar una vez que hemos importado en nuestro archivo y es que la geometría que se crea dentro de Max está volteada 180 grados

entonces lo que tenemos que hacer es girarla esos 180 grados para poder ver el contenido de las 4 paredes que hemos importado y asegurarnos de que todo está visto con el eje Z en positivo (o sea “de pie”).

Corrijamos primero la orientación de la cámara.

una vez que hemos corregido el problema de la cámara para asegurarnos de que todo quede en orden generamos una ayudante Point Con la función auto grid activada para que el punto quede orientado inicialmente como el suelo de la nave.

posteriormente vinculamos todos los elementos (paredes y cámara) al point.

Ahora que todo obedece al point, nos aseguramos de que la rotación del punto sea 0 en los tres ejes (de esta forma sabremos que el eje Z apunta hacia arriba como queríamos) y llevamos el point al 0 del eje de coordenadas con el comando mover.

Todo este movimiento se debe a que queremos evitar cualquier tipo de error el Max resultado de un objeto que está muy lejos del eje de coordenadas.

Observaremos que lo que ha hecho el programa de Photoshop, es crear una especie de habitación con 4 paredes representadas por planos y que en cada una de ellas ha impregnado la parte de la fotografía que correspondía a la zona que habíamos recortado con los planos de perspectiva.

Esas proyecciones sólo tienen sentido desde la cámara que ha creado el programa. Es sólo a partir de ella que tendremos que hacer nuestra integración.

Ahora sólo tocaría insertar un contenido 3D y compensar la iluminación para ese objeto.

el colocar el objeto no es ningún problema puesto que tenemos un plano que representa el suelo.

la iluminación sin embargo es un ejercicio de ensayo y error y quizás es el punto en el que debemos ir afinando mediante pruebas.

En el caso en concreto de esta escena hemos colocado la tetera y además hemos añadido una fuente de luz que desde la vista de la cámara proviene del lado derecho de la toma.

Paso 03 Render.-

Si bien esta integración no es perfecta, nos permite cierta movilidad con la cámara para establecer un poco mejor la profundidad de la habitación.

Se han añadido también algunos objetos intermedios, que no tiene tanta importancia (varias cajas) que ayuden a afianzar la sensación de tridimensionalidad en la habitación.

Generamos la animación, en este caso el recorrido panorámico de la cámara, colocando Fotogramas clave en la línea de tiempo, y a sólo nos queda esperar a que se rendericen todos los frames.

Este movimiento de cámara nos permite “examinar” el entorno y sentir la profundidad mediante el efecto de parallax, generado por los distintos objetos a distintas distancias de la cámara.

También se podría haber “sacudido” ligeramente la cámara para lograr una sensación de “cámara en mano”, pero en esta ocasión preferimos dejarlo como si fuera una Dolly cam.

Para cualquier contenido que salga de 3dMAX siempre se renderiza una secuencia de Fotogramas que se almacenan en una carpeta.

Se podría elegir que la secuencia fuera de jpeg o de png, pero es más útil sacar una secuencia de hdri, para poder tener más control en post producción sobre algunos aspectos de color y luz.

el vídeo final se compila en algún programa de edición de vídeo o, cómo es nuestro caso, en after Effects.

En este procedimiento el contenido final sale directamente de la aplicación 3 D y puede que podamos hacerle algunos retoques finales en after effects.

Nota:

También aquí existe otro procedimiento de integración que es mucho más elaborado

Consiste en sacar por elementos el resultado (el objeto tridimensional, las sombras que proyectan en el suelo, las luces y los reflejos).

Paso 04 En After Effects

La integración está hecha, ahora viene la composición final.

Esta última parte es bastante sencilla.

Nos limitamos a abrir el programa, y arrastrar la carpeta qué tiene toda la secuencia de Fotogramas a la parte del proyecto.

Automáticamente After Effects detecta la secuencia y la agrega como si fuera un vídeo.

Dependiendo de la versión de after effects a veces se pone a la velocidad de 30 frames por segundo o de 24.

Esto se puede cambiar fácilmente haciendo clic derecho sobre el contenido importado (la carpeta) y eligiendo la opción de “interpretar material de archivo”

En el menú emergente veremos que existe una casilla que nos dice la velocidad a la que se está reproduciendo

Solo tendremos que cambiar esto al número de reproducción que nos interesa.

Una vez que nos hemos asegurado de que la velocidad de reproducción es la adecuada, arrastramos la secuencia a la casilla de composición para crear el vídeo final.

Debido a que la secuencia es de imágenes HDRI, Si añadimos un filtro de exposición y gamma, observaremos que de alguna forma es posible controlar la luz de toda la escena sin perder información de color. Esta es una de las ventajas de trabajar con alto rango dinámico.

Una de las peculiaridades del contenido generado en 3D es que, a pesar de ser un contenido animado, si no se le ha dicho otra cosa, suele ser bastante nítido.

Esto suele chocar, porque si un contenido está en movimiento debería desenfocarse ligeramente.

A esto se le conoce como desenfoque de movimiento “motion blur” y es porque los movimientos por muy sutiles que sean deben evitar que podamos percibir nítidamente un objeto.

Para compensar esto, after effects cuenta con un filtro llamado “desenfoque de movimiento de pixels“

Mediante un tipo de inteligencia artificial detecta todos los cambios de posición de los pixels del vídeo y, con base en la velocidad del cambio, desenfoca un poco el contenido.

Basta con aplicarlo a la secuencia que tenemos en nuestra línea de tiempo y en efecto sucede por sí solo.

Cabe resaltar, que esta función hace que la reproducción en RAM sea más lenta.

Entonces este debería ser el paso final antes de exportar el vídeo.

Antes deberíamos corregir color iluminación o añadir todo lo que queramos añadir con los efectos de After effects.

En este caso la integración ha sido realizada y graduada en 3dsmax. Mas adelante veremos cómo podemos hacerlo con After Effects.

Caso 02 «Cat land»

 

Con este ejemplo procedemos a abordar la integración con un enfoque diferente.

En la primera escena vimos que la iluminación del escenario era un ejercicio de ensayo y error.

A cambio, la utilidad de perspectiva de Photoshop hacía la mayor parte del trabajo, generando una habitación tridimensional y una cámara con las especificaciones necesarias para poder observar el escenario.

En este segundo supuesto, contaremos con la ayuda de la iluminación por imagen (IBL) para que nuestros objetos se vean aún más integrados en la toma real que en este caso continúa siendo una fotografía.

Pero la fotografía no será procesada por Photoshop y añadiremos profundidad a la escena en After Effects.

A diferencia del caso anterior, se aprovechará el plano de la foto que se haya tomado.

Ibl y backplate

Generalmente para este procedimiento se necesita un mapa HDRI panorámico de 360 grados y una o varias fotos “normales” del mismo escenario del que se ha generado el mapa HDRI. De esta forma es muy fácil hacer coincidir la iluminación con el fondo sobre el que se hará la integración.

A estos y a cualquier fondo que sirva para un fotomontaje se le llama “backplate”

En esta ocasión descargamos un HDRI gratuito de la web www.hdrihaven.com con sus respectivos backplates. En esta web se pueden encontrar sets completos de HDRI + backplate o simplemente HDRI. Pero son muy buenos.

Si no se tiene un HDRI idéntico a nuestro fondo, sólo habrá que asegurarse de que ambas imágenes comparten gama de colores para simular un entorno parecido. El hdri nos hace la vida más simple a la hora de iluminar, pero también está el recurso de la iluminación manual. Solamente llevará más tiempo.

Paso 01 Establecer la imagen de fondo

Para preparar la imagen de fondo haremos lo siguiente.

Averiguamos qué dimensiones tiene la foto de fondo en pixels. En el caso de la foto de ejemplo son 1200 * 800 pixels.

Trasladamos esa dimensión al tamaño de Salida del render en el menú de render. De esta forma nos aseguramos de que la imagen de fondo no se distorsione cuando lancemos el render.

No es tanto la medida la que nos interesa, sino la proporción de alto y ancho.

Si se diera el caso de que la foto que vamos a usar es muy grande, lo que podemos hacer es copiar las dimensiones igual que con la foto pequeña, y una vez que tenemos las medidas podemos bloquear la proporción con el candado que señalamos en la captura a continuación.

Y así podríamos disminuir la medida de forma proporcional, con el fin de que no tarde demasiado el render.

Maximizamos el visor de perspectiva (alt+W) y arrastramos el backplate al fondo de MAX.

Nos saldrá un mensaje en el que nos pregunta si queremos aplicarlo al fondo del render y al fondo del visor. Dejamos activas las dos casillas.

Activamos el encuadre (Shift + F) para que el fondo quede en el visor de MAX.

Luego de estos pasos la imagen sale bien en el visor de perspectiva, pero si renderizamos, veremos que la imagen sale distorsionada.

Esto se debe a que las imágenes de fondo de render suelen envolverse de forma esférica.

Lo que necesitamos es que se muestre como fondo de pantalla.

Para esto abrimos el menú de environment de MAX (numero 8 del teclado) y abrimos también el editor de materiales (tecla M)

Arrastramos la imagen que se aloja en la casilla Environment a uno de los slots de materiales y marcamos la opción de instancia, del menú emergente.

Veremos que el slot cambia para mostrar la imagen con una distorsión esférica.

En la parte inferior nos encontramos con la disposición de coordenadas y cambiamos el modo de mapping de esférico a pantalla (screen).

Con la modificación hecha, renderizamos una vez más para constatar que ahora todo está en orden.

Paso 02 Determinar el lente y la perspectiva

Para poder hacer una buena integración, es necesario saber qué distorsión de perspectiva tenemos. Hay que recrear digitalmente la cámara con la que se ha tomado la imagen para luego poder incluir elementos digitales.

3ds MAX cuenta con una muy útil herramienta llamada “perspective Match” que me permite adivinar justamente ese aspecto.

Con el visor de perspectiva activo vamos a la solapa de utilidades (la última solapa de las barras de herramientas de la derecha).

Del listado que nos presenta esta solapa, observaremos que el perspective match se encuentra primero.

Lo activamos para que en la parte inferior aparezca el panel de controles.

El siguiente botón por activar es el etiquetado con “show Vanishing lines”

Este botón al activarse nos muestra seis Gizmos auxiliares separados en tres pares de colores. Rojo, verde y azul.

Cada par servirá para determinar los tres ejes de la escena.

Ahora, lo que debemos hacer es mover cada uno de los ayudantes para que cuadren con las líneas de perspectiva que podamos hallar en la foto.

Las rojas irán de izquierda a derecha, las verdes en profundidad de adelante a atrás y, por último, las azules que se colocarán en las líneas verticales de la toma.

A medida que vayamos acomodando cada ayudante en un sitio notaremos que la rejilla “home grid” del centro del eje de coordenadas va cambiando, y de alguna forma también se va adecuando a la distorsión de la perspectiva de la foto.

Luego de acomodar todo, llevaremos mediante paning (la manito) el grid hasta que coincida con el suelo de la foto.

La prueba de fuego para nuestro perspective match es crear un plano a la altura de la rejilla ya calibrada y un elemento cualquiera (una tetera por ejemplo 😊). Si todo ha salido bien esas dos geometrías deberían parecer con la distorsión necesaria para responder a la perspectiva de la foto de fondo.

Después de haber logrado esto tecleamos el atajo de teclado “Ctrl + C” para crear una cámara a partir de la vista de perspectiva.

Esa cámara creada se creará con las especificaciones adecuadas para que cualquier cosa que generemos con base en el grid, parezca estar dentro del área de perspectiva de la foto.

A diferencia de la cámara del primer ejercicio, esta cámara tiene la misión de estar fija, por lo que el movimiento será misión de la post producción.

Paso 03 (Iluminación y plano de sombras)

Como ya habíamos comentado anteriormente, la iluminación de esta escena será por imagen (IBL).

Para ello, añadiremos una luz de tipo domo (esta luz es básicamente una cúpula que envuelve a todo el escenario). El motor de render será Vray dentro de MAX.

Una vez creada la luz domo, cargaremos en la casilla de sus propiedades con la etiqueta “textura” un mapa Vray HDRI.

La versión de Vray con la que trabajo actualmente es la NEXT (equivale a decir la 4).

Si están trabajando con la versión 5 el mapa que tienen que buscar es VrayBitmap.)

Ni bien hemos elegido el mapa en cuestión, nos saltará el buscador para que le digamos al domo dónde tiene que buscar el archivo HDRI.

Cuando lo hayamos elegido de su respectiva carpeta habremos instalado la luz. En las propiedades del domo activaremos la casilla “invisible” puesto que sólo queremos apreciar la iluminación y no la proyección de la foto 360 en la luz instalada.

El plano que hemos colocado para la prueba inicial nos servirá para capturar las sombras.

Con el plano seleccionado, vamos a la barra de herramientas de Vray y buscamos el botón “Make shadow cátcher” (la captura a continuación).

Este botón hará invisible al plano, pero lo habilitará para poder recibir sombras provenientes de los objetos interactuando con la luz Domo.

Con esto habremos logrado la integración.

Paso 04   Profundidad de la foto.

Para poder contar con una herramienta más que haga interesante nuestra foto en el proceso de post producción, necesitamos determinar la profundidad qué tiene la fotografía.

Esta profundidad no se imbuirá directamente en el render, sino que la depositamos en una imagen extra que luego nos permita jugar con la profundidad de campo en after Effect.

La forma de almacenar la información de profundidad en una imagen extra es mediante una imagen en blanco y negro y en escala de grises.

La forma de leer esa información será: las zonas blancas o más claras serán las que se encuentran más cerca de la cámara, y cualquier valor de gris o negro indicará aquellas zonas que se encuentran más alejadas.

Para lograr esta imagen extra tendremos que configurarla en el apartado de render por elementos.

El elemento en cuestión se llama “Zdepth” que puede traducirse como profundidad en Z.

Para ello abrimos el menú de render (F10) y activamos la solapa “Render elements”.

Presionamos el botón Add y de la lista elegiremos VrayZdepth, presionamos “OK” para añadirlo.

Luego hacemos scroll para ver sus opciones. Es necesario decirle las distancias con las que queremos que cree el mapa de profundidad.

Para saber que distancias poner, desde el visor superior “top” podemos averiguar las distancias de los objetos con ayuda del ayudante llamado “TAPE”, que podemos encontrar en la solapa crear y el quinto icono de ayudantes “helpers” de la barra de herramienta de la derecha (como muestra la captura).

En la captura de ejemplo vemos que el primer ayudante nos da una medida de unos 400 cm desde la cámara hacia la escultura del gato.

la distancia más larga es de unas 1200 unidades (Medida desde la cámara hasta la última letra de la palabra que acompañan al gato).

cómo queremos jugar con un poco de profundidad con la escultura diremos que la distancia mínima para enfoque es de 100 y la distancia máxima es de 1200.

esto se tiene que colocar como distancia mínima y distancia máxima en la configuración de la profundidad Z.

ahora solo nos queda lanzar el render y esperar que se generen dos canales. el render en color y el render del mapa de profundidad.

El render final en este caso es de solo un fotograma. Ahora toca darle vida.

Paso 05 convertir la foto en vídeo

Llevamos nuestros dos fotogramas al apartado de proyecto.

Creamos una composición de unos seis a siete segundos, y arrastramos los dos renders.

El render de color será el único fotograma visible. El render de profundidad solo es información para el siguiente paso, así que podemos mantenerlo “apagado”.

Para jugar con la profundidad aplicaremos sobre el fotograma de color un filtro llamado “desenfoque de lente”

Este filtro utiliza la información de blanco y negro para desenfocar proporcionalmente las zonas.

El filtro es simple.

Te pide que le indiques que capa “layer” va a usar para ello y aplica un desenfoque “standard”.

Si el resultado que se busca es opuesto al deseado, existe también una casilla para invertir el desenfoque y se puede tunear el resultado potenciando o haciéndolo más sutil.

Existe un dial que permite cambiar de forma gradual la prioridad de enfoque. Como todo en after effects, el dial tiene un reloj que se puede activar y, por tanto, animar.

Cuando ya hemos logrado la animación del enfoque pasamos a animar la cámara.

Paso 06 Crear una handycam

Creamos una cámara y convertimos la capa de color en 3d. Además, la escalamos sutilmente para que cuando la cámara se mueva, no podamos apreciar el desfase de los bordes de la foto.

Añadimos una expresión wiggle a las orientaciones en x y en y. Como no deseamos un cambio muy violento en la orientación utilizaremos los valores de 0,5 en la frecuencia y de 5:00 a 7:00 grados en la amplitud.

La fórmula resultante sería la siguiente:

Wiggle (0.5,7)

Recordemos rápidamente, que el primer valor establece la cantidad de veces por segundo que sucede un cambio y El segundo valor representa la potencia o magnitud con la que el cambio va a suceder. Entonces podemos interpretar que habrá cada dos segundos un cambio completo de orientación con 7° de variación.

Ya podemos exportar nuestra segunda animación.

Integración de elementos CGI en tomas reales : Conclusiones.-

Dada la longitud del presente artículo y teniendo en cuenta de que habíamos prometido un total de cuatro entregas, podemos decir que es prudente terminar este volumen aquí.

Ahora conocemos dos maneras de dar un poco de vida a nuestras imágenes estáticas añadiéndoles contenido tridimensional, valiéndonos de pequeños trucos de perspectiva y el famoso efecto de Parallax

El tercer ejemplo requiere una explicación Que terminaría haciendo el texto un poco más largo de lo debido.

Por esta razón lo dejaremos con este, no programado cliffhanger, para continuar la siguiente entrega

Con suerte no pasará demasiado tiempo antes de que la tercera entrega vea la luz.

 

Hasta pronto.