Los dobles digitales son cada vez más poderosos y accesibles. ¿Qué podría significar eso para los actores y para la sociedad en general?

Por: Sean Cummings-(Stanford)

En términos de pura capacidad digital, los cineastas de hoy tienen más poder creativo que nunca.

La captura de movimiento permite utilizar los movimientos de Josh Brolin para animar de forma realista al villano de Marvel, Thanos. Equipos de fotogrametría con docenas a cientos de cámaras capturan a los actores desde innumerables ángulos e iluminaciones, creando modelos informáticos en 3D de sus rostros que luego pueden producir escenas que nunca fueron capturadas en la realidad. Estos “dobles digitales” permiten a los cineastas ahorrar dinero en dobles, retratar actores en escenarios extremos, crear secuencias animadas que un actor nunca interpretó o incluso replicar digitalmente actores que han fallecido.

“La gente piensa que esto es algo nuevo, pero esta tecnología se ha utilizado en efectos visuales de películas durante los últimos cinco a diez años. Prácticamente cualquier película de Hollywood hoy incorpora esto”, dijo Gordon Wetzstein, profesor asociado de ingeniería eléctrica. «Para una persona normal, es muy difícil saber si algo es real o un doble digital».

Ahora, las tecnologías emergentes como la IA generativa están haciendo que los dobles digitales sean aún más poderosos y accesibles, lo que potencialmente revolucionará tanto a la industria cinematográfica como a la sociedad en general, al tiempo que ofrece nuevas herramientas para aplicaciones como diagnóstico médico, biomecánica y teleconferencias en 3D. Para obtener más información, Stanford News se reunió con Wetzstein, cuya investigación incluye la creación de imágenes faciales digitales, y Karen Liu, profesora de informática, que estudia la replicación digital del movimiento físico humano.

Ambos estudian técnicas emergentes para crear dobles digitales. ¿En qué consisten y en qué se diferencian de las técnicas que ya utiliza la industria del entretenimiento?

Wetzstein: En lugar de utilizar equipos de fotogrametría, mi grupo diseña IA generativa que aprende a crear personas digitales en 3D. Extraemos imágenes aleatorias de una sola vista de Internet que están disponibles públicamente y las usamos para entrenar modelos de IA para generar rostros que parecen realistas pero que en realidad no existen. Y luego esas caras se pueden editar y animar desde diferentes perspectivas. Ahora no estamos haciendo nada que no pudiéramos hacer antes con suficiente experiencia y herramientas costosas, pero la IA generativa automatiza el proceso.

Liu: Mi investigación se centra en generar movimientos. Esto incluye el sistema musculo esquelético, que tiene que modelar correctamente el tipo de cuerpo de quien intentas imitar: una persona con mucho peso arriba se mueve de manera diferente que una persona con mucho peso abajo.

También implica modelar el proceso de toma de decisiones de una persona que relaciona la percepción con la acción. Si quiero que un doble digital imite tus movimientos, necesito saber cómo reaccionarías ante una percepción particular: ¿huirías, te harías a un lado o te sentarías? Eso requiere muchos datos para que cuando su modelo se encuentre en una situación que nunca antes haya visto, haga lo correcto.

¿Cómo podrían esas técnicas cambiar la forma en que se utilizan los dobles digitales?

Liu: A medida que los conjuntos de datos, los modelos generativos y los simuladores de física continúan expandiéndose y mejorando, es posible entrenar un gemelo digital tuyo que prediga la forma en que te mueves y las acciones que tomarías en función de tu observación del mundo.

Wetzstein: También se ampliará el acceso a algunas de estas tecnologías. Hasta ahora, replicar la imagen de una persona con fotogrametría ha sido exclusivo de entornos de producción de alto costo. Pero eso ya está cambiando. El auge de herramientas de inteligencia artificial generativa como Midjourney y DALL·E 2 brinda a cualquiera la posibilidad de crear las imágenes que desee. Muy pronto, esto también sucederá con los videos, y será indistinguible del contenido de las películas.

Guau. Entonces, ¿la industria cinematográfica necesitará actores en ese momento?

Wetzstein: Ésa es la cuestión, ¿verdad? Reemplazar extras en segundo plano parece la primera aplicación para identidades generadas por IA. ¿Cuál es el valor del actor si puedes crear un doble digital y editarlo como la gente quiera? ¿El actor posee los derechos de autor sobre eso? Y si lo hacen, si editas el doble digital, ¿sigue siendo el actor o es una identidad diferente que no pertenece a nadie?

No creo que la necesidad de buenos actores alguna vez sea reemplazada por completo. Y con el marco legal adecuado, esto también podría beneficiar a los actores. Si tienes control sobre tu doble digital y lo vendes en diferentes lugares, podrías filmar cien películas al mismo tiempo, de manera virtual.

Liu: Todavía no podemos crear dobles digitales perfectos a gran escala. Necesitarías muchos datos de los actores. Si sólo tengo datos sobre Benedict Cumberbatch caminando, sólo puedo recrear el movimiento de caminar; No puedo recrearlo hablando como Sherlock Holmes. Y cuando se trata de movimiento humano en 3D, la adquisición de datos es realmente un desafío. Necesitas dispositivos especiales para hacer eso.

Entonces las películas serían difíciles porque los actores hacen muchos movimientos. Pero si solo quiero un comercial breve de alguien caminando hacia una silla, sentándose y bebiendo una cerveza, eso se podría hacer con una cantidad bastante razonable de datos.

¿Para qué podríamos utilizar esta tecnología fuera de la industria del entretenimiento?

Wetzstein: Estos modelos pueden tomar una sola imagen de una persona y extrapolar cómo se vería plausiblemente desde diferentes ángulos. Eso te permite hacer cosas como teleconferencias en 3D o edición de fotografías: ¿cuántas veces has tomado una foto con amigos o familiares y alguien no está mirando a la cámara o tiene los ojos cerrados? Puedes hacer pequeñas ediciones como esa.

Liu: Me interesan los dobles digitales principalmente por razones biomecánicas y médicas. Podrían ser una herramienta de diagnóstico realmente buena: si podemos modelar con precisión su columna y combinarla con información secundaria (si preguntamos cuándo le duele al caminar, medimos la activación muscular y otras cosas), entonces probablemente podamos resolver un problema inverso. para descubrir por qué le duele algo o cuál fue la causa de su enfermedad.

¿Tiene la gente algo de qué preocuparse a medida que la tecnología de dobles digitales se vuelve más poderosa y accesible?

Liu: Si yo fuera Benedict Cumberbatch, no dejaría que la gente recopilara muchos datos sobre mí, digámoslo así. Una vez que alguien tiene suficientes datos, nunca se sabe qué tipo de modelo podría construir.

Wetzstein: La gente siempre tiene miedo de las nuevas tecnologías. Y está bien: con estas capacidades emergentes, puedes hacer que un doble digital haga cualquier cosa . Debemos tener mucho cuidado con esto porque tiene el potencial de manchar la reputación o difundir información errónea. Es importante iniciar conversaciones con los legisladores sobre cómo asegurarse de que estas herramientas no caigan en las manos equivocadas. No estamos en un punto en el que se puedan utilizar para cambiar el panorama político del mundo, pero creo que no estamos muy lejos.

Pero lo que estamos viendo ahora es parte de una progresión natural. Hace veinte años, cuando se estrenó la primera película de Toy Story , los gráficos por computadora eran rudimentarios y ahora han alcanzado el fotorrealismo. ¿Hay una gran protesta por eso? No, porque se está utilizando de manera mayoritariamente responsable. Sólo tenemos que asegurarnos de que estamos al tanto de lo que está pasando.