Comment la vidéo volumétrique apporte une nouvelle dimension à la réalisation cinématographique

Dans cette conférence et démonstration technique, le cinéaste Diego Prilusky présente la prochaine étape de la réalisation cinématographique : la vidéo volumétrique, une expérience à 360 degrés grâce à des centaines de caméras qui captent la lumière et le mouvement sous tous les angles. Découvrez comment cette technologie crée un nouveau type de récit immersif et regardez comment Diego Prilusky reprend un numéro de danse emblématique de « Grease », cette fois-ci enregistré en vidéo volumétrique.

J'adore faire des films.

Le cinéma existe
depuis plus de cent ans.

La réalisation de films n'a pas changé
pour ce qui est du concept dimensionnel.

C'est toujours placer la caméra dans
une scène et appuyer sur « enregistrer ».

La réalisation d'un film reste
une expérience frontale,

et la création du film ne peut que

suivre la même direction
que la création du contenu.

Nous sommes toujours
devant une image plate

quand nous regardons une fiction.

Il n'y a rien mal à cela.

J'adore regarder des films
et aller au cinéma.

Ces expériences peuvent être
très émotionnelles.

L'art et l’artisanat de la fabrique
d'émotions dans un cadre

peuvent être si forts qu'ils suscitent
une émotion encore plus grande.

La question que nous nous posons
est la suivante :

Comment l'expérience du cinéma peut-elle
exister au-delà d’un écran plat ?

Comment commencer à créer du contenu

pour la prochaine génération
d’expériences du contenu ?

Traditionnellement,
quand on imagine une scène,

on regarde le cadre et la composition.

Il faut réfléchir à la façon dont
on crée la profondeur et la parallaxe

en utilisant des éléments
de premier plan et d'arrière-plan

lorsque la caméra se déplace.

Avec la technologie et les systèmes
de casques de réalité virtuelle,

de casques de réalité augmentée,
les dispositifs intelligents,

permettant une navigation
tridimensionnelle et complète

dans l'espace,

nous avons la possibilité
d'offrir au public

de vivre le contenu
à partir de perspectives multiples.

Ce à quoi nous devons réfléchir,

c'est à la manière
d'utiliser cette technologie,

toutes ses capacités,

pour permettre à l'expérience
de s'éloigner de la scène.

Nous ne parlons ni de jeux vidéo
ni d'acteurs générés par ordinateur,

qui ont l'air extrêmement réalistes.

Nous parlons de vrais acteurs
et d'une vraie interprétation

qui se produisent sur une scène.

Nous devons commencer à réfléchir
à la façon dont nous filmons les acteurs

et à la façon dont
nous filmons une scène réelle

afin de nous immerger dedans.

Nous connaissons bien
la vidéo à 360 degrés,

où on place une caméra
à l'intérieur de la scène

et à créer cette belle image panoramique
tout autour du spectateur,

mais sous le même aspect,

la réalisation du film
est toujours frontale.

Pour immerger pleinement
le spectateur dans la scène,

nous devons saisir la lumière à partir
de toutes les directions possibles.

Nous devons entourer la scène
d'une énorme quantité de capteurs,

dotés de toutes les capacités possibles
pour capter la lumière

afin de nous permettre
de nous y immerger ensuite de nouveau.

Dans cette configuration,

il n'y a plus de premier plan,
d'arrière-plan

ou de caméra placée dans l'espace,

mais des centaines de capteurs
qui captent la lumière

et filment le mouvement
depuis toutes les directions possibles.

Grâce aux nouvelles
avancées technologiques,

on peut commencer à envisager
la photographie en 3D,

capter la lumière
sous de multiples perspectives,

ce qui nous permet
de reconstruire l'objet.

C'est comme une photographie
dans l'espace en 3D.

Grâce à ces avancées technologiques,

nous pouvons enregistrer des vidéos
non seulement comme une image plate

mais aussi comme un volume.

C'est ce que nous appelons
la « vidéo volumétrique »

et elle a la capacité d'enregistrer
chaque action de la scène

comme un volume tridimensionnel complet.

Alors, c’est quoi un voxel ?

Un voxel, c’est comme
un pixel tridimensionnel,

mais au lieu d'être un carré
d'image plat, restant allumé et coloré,

c'est comme un cube
tridimensionnel dans l'espace,

avec des positions x, y et z.

Cela nous permet de créer
une prise de vue complète de la scène

à partir de n'importe quelle perspective.

Cela permet de rendre une scène
entièrement immergée dans la lumière,

à partir de perspectives multiples.

Cette capacité exige le traitement
d'une quantité immense d'informations.

Nous devons capter la lumière
grâce à un grand nombre de caméras

pour créer cette information.

Pour réaliser cela,

il nous faudrait une installation qui
accueillerait un grand nombre de caméras

installées sur une scène
suffisamment grande

pour permettre une expérience
cinématographique complète.

Cela peut vous sembler fou, mais
c'est exactement ce que nous avons fait.

Depuis trois ans,

nous construisons un immense plateau
muni de caméras volumétriques.

C’est une scène de 930 mètres carrés

où il est possible de filmer l'action
depuis n'importe quel endroit.

Nous avons déployé
des centaines de caméras,

qui ont envoyé une immense
quantité d'informations

à un énorme centre de données
basé sur des supercalculateurs d'Intel.

La capacité à disposer
de ces 930 mètres carrés

nous permet de nous adapter
à n’importe quel type d’action,

à n’importe quel type de représentation.

C'est la dimension moyenne
d'une scène à Broadway.

Nous l'appelons Intel Studios

et c'est la plus grande scène
volumétrique du monde.

Son but de lancer la prochaine génération
de ce cinéma immersif et de la découvrir.

Pour tester ces idées,

nous réfléchissions à
ce que nous pouvions faire

comme première scène pour l'essayer.

Nous avons donc choisi
une scène de western.

Nous avons apporté des chevaux,
des décorateurs, de la terre,

tout ce qu'il fallait pour créer
une vraie scène de western.

Mais cette fois-ci,
il n'y avait pas de caméra à l'intérieur.

Il n'y avait rien qui bougeait vraiment,

à part toutes les caméras
installées à l'extérieur.

Le défi était énorme pour les acteurs.

Ils devaient interpréter
une action parfaite

visible depuis toutes les directions.

Il n'y a pas moyen de cacher
un coup de poing

ou de ne pas montrer l'action.

Tout est filmé et tout est vu.

Le résultat de la prise de vue –

c'est notre première prise de vue –

nous a ouvert les yeux
sur d'immenses possibilités.

C'était comme un scan 3D complet
de toute la scène.

Nous avons pu nous déplacer
et voyager dans l'espace.

Avec notre système, il ne s’agit plus de
percevoir la lumière émise par un écran,

mais d'être à l'intérieur de la lumière,

d'être à l'intérieur de la scène.

Ce qui ouvre évidemment la porte

à une énorme quantité de récits
et de méthodologies de création.

C'est la possibilité de créer
votre récit personnel,

votre propre histoire
à l'intérieur de la scène

ou peut-être de suivre d'autres histoires.

Jetons un œil à l'un
des derniers rendus et voyons ça.

(Musique)

Ce que vous voyez ici est
une vidéo volumétrique complète

et il n'y a pas de caméra sur scène.

(Musique)

Nous avons le contrôle total

(Musique, bruits de lutte)

de l'espace et du temps.

(Musique, bruits de lutte)

Là encore, il n'y avait pas
de caméra physique.

Tout a été filmé depuis
tout autour de la scène.

C'est très bien,

mais si nous voulons voir la scène,
peut-être, avec les yeux du cheval ?

Eh bien, nous pouvons le faire aussi.

(Le cheval galope)

Ce que vous voyez en ce moment
c’est la même action,

mais cette fois, notre point de vue
est celui du cheval.

Les possibilités sont illimitées.

(Applaudissements)

Merci.

(Applaudissements)

Tout ceci est donc formidable
pour les créateurs et les scénaristes.

C'est une immense toile ouverte

à un autre type de narration
et de réalisation au cinéma.

Mais qu'en est-il du public ?

Comment le public
peut-il le vivre différemment ?

Pour nos recherches,

nous nous sommes associés
à Paramount Pictures

afin d'explorer les médias immersifs

dans une production
cinématographique hollywoodienne.

Avec le réalisateur Randal Kleiser,

nous avons réimaginé « Grease »
le film emblématique de 1978.

Certains d'entre vous
le connaissent, d'autres non.

Un film qui a 40 ans,
une expérience incroyable.

Notre objectif était de voir

comment nous pouvions améliorer
cette scène et cette danse iconiques

pour les vivre plus intensément,

pour mieux inclure le public.

Imaginez que vous pouvez
non seulement regarder le film,

mais aussi entrer dans l'action et
danser avec les acteurs lors du spectacle.

Nous brisons vraiment
le concept traditionnel de la 2D

et nous apportons une liberté
beaucoup plus riche

de créer des films et du contenu.

Mais pourquoi le regarder à l'écran ?

Essayons d'amener ces acteurs
ici sur scène.

Ils ne viendront pas vraiment –

je vais utiliser un iPad.

(Rires)

Désolé.

Je vais utiliser un iPad
afin d'introduire la réalité augmentée.

Il est évident que ces appareils
ont leurs propres limites

en matière de traitement des données

et nous devons donc réduire la résolution.

Donc, ce que je fais maintenant,
c'est que je place ici un marqueur,

afin de pouvoir indiquer exactement
où je veux que tout le monde apparaisse.

D'accord.

Je pense qu’ils sont arrivés.

(Applaudissements)

John Travolta ou –

(Rires)

une version de lui.

Voyons voir.

(Vidéo)

Une femme : Hey.

Un homme : On fait comme ça.

Une femme : À toi.

Un homme : Hé les gars ! Regardez ça.

(Chanson : « You’re the one that I want »)

Danny : Sandy !

Sandy : Tell me about it, stud

(Chantant) I've got chills.
They're multiplaying

And I'm losing control

'Cause the power
you're supplying

It's electrifying!

(Fin de la vidéo)

(Applaudissements et acclamations)

Comme vous pouvez le voir,

on peut donc regarder
et vivre des contenus

de manière traditionnelle ou immersive.

Les possibilités sont immenses.

Nous n'essayons pas de changer
ou de remplacer les films.

Nous les améliorons.

Les technologies offrent
de nouvelles possibilités

pour commencer à penser
au-delà de l'écran plat.

Nous vivons une époque immersive et
passionnante pour la réalisation de films.

Nous sommes au seuil d'une nouvelle ère.

Nous ouvrons la porte
à de nouvelles possibilités

de narration immersive,

de recherches et de redéfinition

de ce que signifie la réalisation
de films sur support immersif.

Nous n'en sommes qu'au début,

et nous vous invitons à nous rejoindre.

Je vous remercie.

(Applaudissements)