En el artículo de hoy, quiero empezar presentándoles un importante proyecto en el que estamos trabajando con el habitual nExtcombinando inteligencia artificial y cine. Estamos utilizando la IA para la producción cinematográfica en una película inmersiva de 360 grados, proyectada inicialmente en cúpulas móviles. Aprovechando todas las últimas tecnologías para que sea una experiencia memorable que combinará lo real y lo virtual. Básicamente: un hito para lo que será el cine del futuro.
Promete dejar una profunda huella y representar un punto de inflexión significativo en la historia del cine. Por un cine más democrático, más presente entre la gente, unificador... Lo que fue el cine original y lo que ha dejado de ser durante tanto tiempo.
En este artículo quiero hablar a grandes rasgos, técnicamente, de la idea básica. Y compartir contigo algunas posibles áreas de uso de la inteligencia artificial para sacarle el máximo partido con un presupuesto, intencionadamente, reducido.
También podemos considerarlo una actualización, en una fase mucho más avanzada, del último artículo escrito en febrero de 2023 titulado. Cómo hacer películas de bajo presupuesto con inteligencia artificial - Primeros pasos. .
Índice
El revolucionario impacto de la Inteligencia Artificial en el cine
En otros tiempos, los efectos especiales y las técnicas narrativas eran las varitas mágicas del cine, pero hoy la inteligencia artificial juega una carta revolucionaria. Es una ayuda increíble, un cómplice que abre la puerta a una innovación sin precedentes. Nos estamos subiendo a esta ola, con la IA a nuestro lado echándonos una mano para crear historias convincentes, personajes digitales que parezcan reales y música que te llegue al corazón. Pero no olvidemos el toque humano, el verdadero corazón palpitante de cada una de nuestras creaciones.
"Inteligencia artificial y cine" no es un lema simbólico, sino el comienzo de un nuevo capítulo en la narración de historias. Estamos dispuestos a demostrar que el futuro del entretenimiento ya no es un sueño lejano: está aquí, y está animado por la inteligencia artificial.
Luna Dolph, Kyle y China: de la vida virtual a la real
La historia, guionizada por Gérard Bernasconi comienza con la historia de Luna Dolph, Kyle y Chinano son meros personajes, sino avatares tridimensionales que dan vida a un mundo virtual fascinante y complejo. Estos avatares no son sólo protagonistas de una historia, sino símbolos de nuestra época. Representaciones vívidas de nuestra progresiva inmersión en el universo virtualtambién conocido como metaverso. Este concepto, antes relegado a la ciencia ficción, está tomando forma rápidamente e influyendo en diversas industrias, desde los videojuegos a las plataformas de redes sociales, transformando nuestra forma de interactuar, trabajar y divertirnos.
Realidad virtual e identidades digitales
Nuestro objetivo no es sólo contar una historia convincente, sino invitar al público a reflexionar sobre la naturaleza de la realidad en la era digital. Estos avatares, con sus complejas interacciones e intrincados mundos, representan la fusión en curso de nuestras vidas físicas y digitales. Una convergencia que está redefiniendo el significado mismo de identidad, comunidad y pertenencia.
En el centro de nuestra narración encontramos a Luna Dolph, Kyle y China. Son tres avatares tridimensionales cuyas vidas transcurren en un mundo virtual de extraordinaria belleza. Aunque existen en el éter digital, su historia es un puente hacia la realidad, un medio de recordar a nuestros espectadores el valor insustituible de la interacción humana y la vida real. En una época en la que la digitalización ha transformado nuestras formas de relacionarnos, nuestra narrativa pretende utilizar la tecnología no como refugio, sino como trampolín para redescubrir y revigorizar la socialidad auténtica y tangible.
La tecnología le ayuda a vivir mejor
Mientras Luna, Kyle y China navegan por un metaverso fascinante, sus experiencias y desafíos resuenan con un mensaje claro: la tecnología, por avanzada que sea, es una herramienta que, si se utiliza con sensatez, puede enriquecer pero no sustituir la calidez y la complejidad de las relaciones humanas. Nuestro objetivo es hacer ver que, a pesar del atractivo de lo digital, la vida real tiene lugar fuera de la pantalla. En las risas compartidas, los apretones de manos, los abrazos y los momentos espontáneos que conforman el tejido de nuestra existencia.
Con esta narración, aspiramos a inspirar a los espectadores para que levanten la mirada de sus dispositivos y vuelvan a sumergirse en el mundo real, enriqueciendo sus vidas con experiencias auténticas. A través de la exploración de mundos virtuales, queremos celebrar y promover la belleza y la importancia insustituible de la vida real y la socialidad humana.
La película supondrá la primera salida al mundo real de los tres protagonistas.
Cómo utilizamos la IA en la producción cinematográfica
Todavía estamos en la fase de preproducción, así que desde un punto de vista práctico les mantendré informados en los próximos meses. Por ahora, tenemos una idea aproximada: hemos seleccionado un compendio de las últimas tecnologías de inteligencia artificial (IA) que son asequibles y están al alcance de todos.
La película se rodará en cúpula completaEn un formato inmersivo de 360×180 grados. Básicamente lo proyectaremos en cúpulas y planetarios. Se trata de una innovación crucial de cara al futuro, a medida que avanzamos más y más hacia la inmersión total. Y contamos con un presupuesto limitado, digamos que entre 10.000 y 20.000 euros a simple vista. La película durará unos 40 minutos, y transcurrirá en un 30% en el mundo virtual de Luna y sus amigos (recreado íntegramente en Motor Unreal ), para los 70% restantes en el mundo real.
Luma AI para el cine del futuro
Para empezar a hablar de este arsenal tecnológico menciono lo siguiente Luma AIuna solución pionera que revoluciona por completo la generación de entornos tridimensionales. Luma AI nos permite reproducir entornos reales dentro de Unreal Engine, con calidad fotorrealista y incluso con un iPhone. Empleando tecnologías avanzadas como el Campos de radiación neuronales (NeRF) y el nuevo Splatting gaussiano (este último publicado hace apenas tres meses por la Universidad de la Costa Azul, Francia), podemos capturar la complejidad y riqueza del mundo real en formato digital, introducirlo en Unreal Engine (incluida la posibilidad de moverse libremente por la escena) y dar vida a escenas antes relegadas únicamente a los grandes presupuestos.
Reducimos los costes asociados a la creación de escenarios detallados y objetos complejos, además de agilizar y acelerar el proceso de producción. Luma AI no solo democratiza el acceso a tecnologías de talla mundial, sino que también nos da las herramientas para experimentar a una velocidad antes inimaginable. Y nos permite dotar a nuestras escenas de un nivel de viveza y profundidad sin precedentes".
Skybox AI para cine - Iluminación simplificada en Unreal Engine
Otra herramienta crucial de nuestro repertorio es Skybox AI por Laboratorios Blockade para la creación de skyboxes. Enriquecer las escenas virtuales con detalles vitales sobre iluminación y ambientación.
A skybox en Unreal Engine no sólo proporciona entornos visualmente convincentes (montañas, cielo, casas lejanas, etc...), sino que también afecta a la iluminación general de los activos 3D de la escena. Esto es lo que más nos interesa en cinematografía: actúa como fuente de luz ambiental, reflejando sus colores y matices sobre los objetos, ayudando a crear una atmósfera coherente y realista. Por ejemplo, un skybox que represente una puesta de sol infundirá tonos cálidos anaranjados y rojos en la escena, mientras que un skybox nocturno proporcionará una luz más fría y tenue. Este proceso ayuda a integrar los activos 3D en el entorno, haciendo que la experiencia visual sea más envolvente y coherente.
Aspecto que resulta esencial en la creación de entornos fulldome de 360 grados. Cada pequeño detalle es fundamental para mantener la ilusión de un mundo totalmente inmersivo.
Utilización de Kaiber AI para nuestra película
Kaiber AI es útil y de calidad, pero tengo una seria duda: no sé si funciona con vídeo fulldome. Todavía no he tenido tiempo de experimentar con él, pero posiblemente ayudará a suavizar las escenas para que los activos se puedan fusionar aún mejor. Funciona a través de AI directamente en los archivos de vídeo finales.
Inteligencia artificial y cine: Reverie AI
En previsión del lanzamiento de Reverie AI nos estimulan sus promesas de crear mundos virtuales para Unreal Engine casi "copiando" una imagen preexistente. Su capacidad para generar escenarios que imitan fielmente la realidad, combinada con su potencial en la corrección del color de las escenas virtuales, abre las puertas a posibilidades ilimitadas en la narración visual. Reverie AI promete ser un complemento excelente para nuestro flujo de trabajo, mejorando la coherencia visual y garantizando transiciones suaves y convincentes entre el mundo virtual y el real.
Move.ai, mocap barato y funcional
Otra herramienta "inteligente" que pensamos utilizar para nuestra película será Mover.aiEn concreto, el servicio de bajo coste Movimiento Uno (en oferta de lanzamiento a $15 al mes, luego se espera que cueste $30). Con un simple Aplicación para iPhone, podremos crear animaciones personalizadas sencillas y listas para usar, sin demasiados arreglos ni limpiezas. Esto reduce el tiempo y el coste, permitiéndole no estar limitado por las animaciones ya disponibles en servicios como Mixamo , ActorCore o el Mercado MoCap por Noitom.
Aquí un vídeo de prueba muy rápido:
Evidentemente, también tienen el servicio profesional, más caro, que permite utilizar hasta 8 salas. Pero no contamos con utilizarlo para esta primera producción a menos que haya una necesidad muy real.
Voz a voz para el doblaje de películas... ¿Es posible?
En nuestra producción, la innovación no se detiene con la creación del mundo digital; de hecho, también queremos aprovechar la revolución tecnológica en curso en aspectos tradicionales de la realización cinematográfica, tales como doblaje.
La voz de Luna y los demás avatares 3D debe ser coherente (por no decir idéntica) en todos los medios, tanto en el mundo virtual como en el real. Nos enfrentamos a un reto complejo: mantener la misma voz en múltiples plataformasincluyendo las redes sociales y, sobre todo, el streaming en tiempo real, sin atarnos a un solo actor de doblaje. Esto nos permite tener flexibilidad en la narración y adaptarnos a diversos formatos sin depender de la disponibilidad de un actor concreto.
La idea es replicar las voces de algunos actores reales y asociarlas a avatares (Luna, Kyle y China para empezar), transformando luego la voz de cualquier actor, en tiempo real, en la de Luna, para utilizarla tanto en el doblaje de películas y contenidos sociales (tanto en el idioma original como en las traducciones), como en el transmisión en directo superponiendo estas entradas al avatar animado en captura de movimientos.
Desde el excelente pero caro Respeecher, hasta el ambiguo Voicemod
Exploramos opciones como Respeecher una herramienta avanzada de conversión de voz a voz, pero los costes en tiempo real son prohibitivos. Estamos hablando de 1.000 o 2.000 al mes por unas horas de uso. Voicemod se presenta como una solución más barata debido a su Voces de la IAaunque hay rumores contradictorios sobre su fiabilidad (algunos incluso lo consideran malware o cryptojacking...). Y queda el problema de no tener los derechos de la voz, que son de su propiedad, lo que sin duda será un problema en el futuro. Aún no conozco el coste de la conversión en tiempo real de Resemble.ai que he utilizado en el pasado para la conversión de texto a voz, mucho más barata, y de Voz de Veritone .
Otra herramienta que no he podido probar es Voidol 3 con un coste de unos $300. No pude encontrar una versión demo, pero admito que ni siquiera me esforcé tanto por solicitarla. Es uno de tantos programas orientales creados por la típica pasión japonesa por el mundo del anime. Pero en realidad adaptable a nuestro propósito, como veremos en un momento con otro japonés.
MetaVoice Live, Mangio RVC Fork y W-Okada Voice Changer, gratuitos y de código abierto
Las soluciones finalesdespués de mucha investigación, son. MetaVoice en directo y el Voz Cambiador de W-Okada. Ambos código abiertoque nos asegura que podemos basar la "vida futura" de los personajes en estos servicios, y ambos gratis. No puedo dejar de mencionar el canal de YouTube Búsqueda de herramientas de IA que me ha sido de gran utilidad. Entre los vídeos más interesantes en este ámbito, sin duda éste:
Me gusta especialmente MetaVoice: está en pleno desarrollo y dispone de una versión en la nube para conversiones en tiempo no real que ofrece mayor calidad y flexibilidad. Ésta no es gratuita, pero el coste de entre $10 y $25 al mes es asumible.
Por el contrario, W-Okada 's Cambiador de voz cuenta con muchos desarrolladores independientes que desarrollan soluciones compatibles con él, como el usuario de GitHub Mangio621 que creó el Mangio Horquilla RVC un programa informático con interfaz web que puede transformar la voz de un actor real en la del modelo de voz elegido. Muchos de estos modelos, sobre todo de personajes famosos, ya están disponibles en sitios como Modelos de voz.com en formato ".pth". Un formato clásico utilizado en machine learning), pero lo mejor es que con el mismo Mangio RVC podemos realizar el entrenamiento, o la formación, de una voz personalizada. Todo localmente gracias a una buena tarjeta de vídeo. Y por lo tanto claramente siempre disponible, y de forma gratuita.
Sin embargo, en breve haré un artículo específico sobre esto. Así que me seguiréis mientras hago algunas pruebas interesantes.
Generación de vídeo con inteligencia artificial
Uno de los usos de la IA en la producción cinematográfica puede ser la conversión de texto a vídeo, o de vídeo a vídeo. Pero, ¿hasta qué punto puede ser útil generar vídeos con inteligencia artificial? Me refiero a hacerlo desde cero, describiendo a la IA en texto (o con una referencia de vídeo muy simplificada) lo que se quiere conseguir. Algo del futuro, hasta la fecha herramientas como Pista Gen-1 , Genmo AI , o Moonvalley AI son poco más que experimentos. Útiles en algunos momentos, pero lejos de la calidad y el realismo necesarios para una producción cinematográfica.
Evidentemente, tendremos que trabajar unos cuantos años más para conseguir nuestras películas 🙂 .
Canon EOS R5C y objetivo ojo de pez doble para vídeo 3D fulldome
¿Y la filmación de acción en directo? En nuestro viaje, estamos probando una combinación de equipos muy interesante. Siempre tenemos el objetivo en mente: poco gasto, mucho beneficio. Originalmente había planeado grabarlo todo en 360 grados, también para hacerlo compatible en caso de una futura adaptación a la realidad virtual. Pero el coste se hizo prohibitivo, tanto para la cámara (una cámara profesional como la Insta 360 Titán que, por cierto, lleva años sin actualizarse y cuesta más de 17.000 euros), y por las dificultades de empezar desde el principio con un campo tan amplio.
Así que la idea es producir el vídeo adecuado para la cúpula, en 360×180 grados (básicamente la mitad de la esfera). Y la lente Canon RF 5,2 mm F2,8 L Ojo de Pez Doble junto con el Canon EOS R5C debería ser una elección ganadora. Esta configuración no sólo proporciona imágenes envolventes, sino que también nos permite experimentar con tomas estereoscópicas, que añaden un nivel extra de profundidad y realismo.
La cámara Canon EOS R5C, con su rango dinámico de entre 11 y 12 stops y su sensor 8K, ofrece una excelente relación calidad-precio. Se trata de una consideración importante para nosotros, ya que intentamos mantener un presupuesto equilibrado sin sacrificar la calidad. También consideraremos si alquilarla ... De Adcom , el objetivo y la cámara se ofrecen a unos 200 euros diarios.
Para ser sinceros, todavía no podemos explotar todo el potencial de la estereoscopía debido a la proyección, pero sin duda es algo que nos gustaría explorar en el futuro. Es una de esas cosas que tienen muy buena pinta y que podrían dar un toque especial a nuestro proyecto. ¿Ha proyectado alguna vez fulldomes estereoscópicos o tiene alguna sugerencia sobre cómo podríamos integrarlo en nuestro trabajo? Me encantaría conocer sus opiniones e ideas.
Y si le faltará algo en comparación con salas más blasonadas.... Una vez más, contamos con aprovechar la IA para mejorar la calidad del vídeo. Pero la investigación, sobre el terreno, aún está por hacer.
Conclusiones
Al final, nuestra elección de herramientas y equipos digitales refleja el deseo de no comprometer la calidad sin perder de vista el presupuesto.
En resumen, estamos creando algo más allá del cine tradicional. Gracias a la inteligencia artificial y la tecnología punta, el "cine del futuro" ya no es un sueño. Es real, queremos verlo hecho realidad. Y con el genio de Gérard Bernasconi al guión (que también nos ha aportado una gran contribución técnica), la precisión de Michela Sette en el papel de VFX Supervisor y la creatividad de Michele Pelosio como director, estamos forjando una experiencia cinematográfica revolucionaria. Prepárate, porque estamos a punto de llevarte a un mundo en el que el cine y la realidad se funden en una experiencia trascendental 🙂.
Spanish 
English 
Italian 
French