Blaise Aguera y Arcas présente Photosynth

Blaise Aguera y Arcas mène une démonstration éblouissante de Photosynth, un logiciel qui pourrait transformer notre façon de visionner les images numériques. En utilisant des photographies tirées du Web, Photosynth construit des visions de rêve à couper le souffle et nous permet de les parcourir.

Ce que je vais vous montrer en premier, aussi vite que possible,

c'est un travail fondateur, une nouvelle technologie

que nous avons apportée à Microsoft comme part d'une acquisition

il y a presque exactement un an. Voici Seadragon.

Et c'est un environnement dans lequel vous pouvez, localement ou à distance,

interagir avec de grandes quantités de données visuelles.

On a ici devant les yeux beaucoup, beaucoup de gigabytes de photos numériques

et on fait des zooms avant de manière continue et en quelque sorte fluide,

on navigue dans le truc, on le réarrange de la manière qu'on veut.

Et ce quelle que soit la quantité d'informations que l'on visionne,

la taille de ces collections ou la taille des images.

La plupart sont des photos d'appareils numériques ordinaires,

mais celle-ci, par exemple, est scannée à partir de la Bibliothèque du Congrès,

et elle fait dans les 300 mégapixels.

Cela ne fait aucune différence

parce que la seule chose qui devrait limiter les performances

d'un système comme celui-ci, c'est le nombre de pixels sur votre écran

à un instant "t". C'est aussi une architecture très flexible.

Voici un livre entier, un exemple de donnée qui n'est pas une image.

C'est Bleak House de Dickens. Chaque colonne est un chapitre.

Pour vous prouver que c'est vraiment du texte, et pas une image,

on peut faire quelque chose comme ça, pour bien montrer

que c'est une véritable représentation du texte; ce n'est pas une photo.

C'est peut-être une manière un peu artificielle de lire un e-book.

Je ne vous le recommande pas.

Voilà un exemple plus réaliste. C'est un numéro du Guardian.

Chaque grande image est le début d'une section.

Et cela vous donne véritablement la joie et l'expérience agréable

de la lecture de la vraie version papier d'un magazine ou d'un journal,

qui est un type de media multi-échelles par définition.

Nous avons également mis au point quelque chose

avec le coin de ce numéro du Guardian en particulier.

Nous avons créé une fausse publicité en très haute résolution...

bien plus haute que ce que vous pourriez obtenir dans une publicité classique...

et nous avons inséré du contenu supplémentaire.

Si vous voulez voir les caractéristiques de cette voiture, on peut les voir ici.

Ou d'autres modèles, ou même des spécifications techniques.

Et on en arrive vraiment à certaines de ces idées

pour vraiment se débarrasser de ces limites d'espace de l'écran.

On espère que cela signifie la fin des pop-ups

et d'autres types de pollution du même genre... ne devraient plus être nécessaires.

Bien entendu, la cartographie est l'une des applications évidentes

pour une technologie comme celle-ci.

Et sur celle-ci je vais passer très rapidement,

si ce n'est pour dire qu'on a des choses pour contribuer à ce domaine également.

Ce sont toutes les routes des Etats-Unis

superposées à une image géospatiale de la NASA.

Bon, maintenant, allons chercher autre chose.

Tout ça est en ce moment en ligne sur le Web, vous pouvez aller vérifier.

C'est un projet appelé Photosynth,

qui en réalité marie deux technologies différentes.

L'une d'entre elles est Seadragon

et l'autre est issue d'une recherche magnifique sur la vision informatisée

menée par Noah Snavely, un étudiant de 3ème cycle à l'Université de Washington,

co-dirigée par Steve Seitz à l'UW

et Rick Szeliski de la recherche Microsoft. Une très belle collaboration.

Et donc c'est en ligne sur le Web. Cela fonctionne avec la technologie Seadragon.

On peut le voir quand on utilise ce genre de visualisations,

où on peut plonger dans les images

et avoir cette sorte d'expérience multi-résolutions.

Mais l'arrangement dans l'espace des images dans ce cas-là a en fait un sens.

Les algorithmes de vision informatisée ont enregistré ces images ensemble,

afin qu'elles correspondent à l'espace réel dans lequel ces photos

(toutes prises près des lacs Grassi dans les Rocheuses canadiennes)

ont été prises. Donc vous voyez des éléments ici

de diaporama stabilisé ou d'imagerie panoramique,

et toutes ces choses ont été reliées entre elles dans l'espace.

Je ne suis pas sûr d'avoir le temps de vous montrer d'autres environnements.

Certains sont beaucoup plus spatiaux.

J'aimerais sauter directement à l'un des premiers ensemble de données de Noah

(et cela vient d'un premier prototype de Photosynth

que nous avons fait fonctionner pour la première fois cet été)

pour vous montrer ce qui d'après moi

est vraiment le point fort de cette technologie,

la technologie Photosynth. Et ce n'est pas nécessairement si évident

quand on regarde les environnements que nous avons mis en ligne sur le site web.

On a du se préoccuper des avocats et des trucs dans le genre.

Voici une reconstruction de la cathédrale Notre-Dame

qui a été faite entièrement par calcul informatique

à partir d'images récupérées sur Flickr. On tape juste Notre Dame dans Flickr,

et on trouve des photos de types en t-shirts, du campus (de l'université de ND, NdT)

et ainsi de suite. Et chacun des ces cônes oranges représente une image

qui a été identifiée comme appartenant à ce modèle.

Et donc ce sont toutes des images Flickr,

et elles ont toutes été reliées entre elles dans l'espace de cette manière.

Et on peut naviguer dedans très simplement de cette manière.

(Applaudissements)

Vous savez, je n'aurais jamais cru que je finirais par travailler chez Microsoft.

C'est très gratifiant d'être reçu ici de cette manière.

(Rires)

Je pense que vous pouvez voir

qu'il s'agit de beaucoup de types d'appareils photos différents:

il y a de tout, des appareils photo de téléphone portable aux reflex mono-objectifs de professionnels,

un assez grand nombre de photos, cousues

ensemble dans cet environnement.

Et si j'y arrive, je vais en trouver quelques-unes un peu étranges.

Beaucoup d'entre elles sont occultées par des visages, et ainsi de suite.

Quelque part par là il y a même

une série de photographies... nous y voilà.

Il s'agit en fait d'un poster de Notre Dame qui a été enregistré comme correct.

On peut plonger depuis le poster

dans une vue physique de l'environnement.

Le vrai but de tout ça, c'est qu'on peut faire des choses

avec l'environnement social. On prend maintenant les données de tout le monde...

de l'ensemble de la mémoire collective

de ce à quoi ressemble la Terre, visuellement...

et on relie tout ça ensemble.

Toutes ces photos deviennent liées entre elles,

et elles font émerger quelque chose

de plus grand que la somme des parties.

Il y a un modèle de la Terre entière qui émerge.

Voyez ça comme la longue traîne du travail de Stephen Lawler sur la Terre Virtuelle.

Et c'est quelque chose qui devient de plus en plus complexe

à mesure que les gens l'utilisent, et dont les bénéfices s'accroissent

pour les utilisateurs à mesure qu'ils l'utilisent.

Leurs propres photos sont marquées avec des méta-données

que quelqu'un d'autre a entrées.

Si quelqu'un s'embêtait à marquer tous ces saints

et à donner tous leurs noms, ma photo de la cathédrale Notre Dame

serait enrichie d'un coup de toutes ces données,

et je pourrais l'utiliser comme point d'entrée pour plonger dans cet espace,

dans ce méta-verse, en utilisant les photos de tout le monde,

pour faire une sorte d'expérience sociale trans-modale

et trans-utilisateurs de cette manière.

Et bien sûr, un sous-produit de tout ça,

ce sont des modèles virtuels immensément riches

de tous les coins intéressants la Terre, récoltés

pas simplement par des vols en altitude et par des images satellite

et autres, mais par la mémoire collective.

Merci beaucoup.

(Applaudissements)

Chris Anderson: Est-ce que je comprends bien ? Que ce que votre logiciel va permettre,

c'est qu'à un certain moment, vraiment dans les quelques années à venir,

toutes les photos qui sont partagées par quiconque dans le monde

seront en gros liées entre elles ?

BAA: Oui. Ce que le logiciel fait, c'est découvrir.

Il crée des hyperliens, si vous voulez, entre les images.

Et il le fait

en se fondant sur le contenu des images.

Et ça devient vraiment passionnant quand vous songez à la richesse

de l'information sémantique que bon nombre de ces images possèdent.

Par exemple quand on fait une recherche web sur des images,

on tape des phrases, et le texte de la page web

contient beaucoup d'informations à propos du sujet de cette photo.

Maintenant, que se passe-t-il si cette photo est liée à toutes vos photos ?

Dans ce cas la quantité d'interconnexions sémantiques

et la quantité de richesse qui en ressort

est vraiment immense.C'est un effet de réseau classique.

CA: Blaise, c'est vraiment incroyable. Félicitations.

BAA: Merci beaucoup.