What happens when our computers get smarter than we are?

L'intelligence artificielle devient plus maline en progressant par bonds -- d'ici à la fin du siècle, les recherches suggèrent qu'une intelligence artificielle informatique pourrait être aussi "intelligente" qu'un être humain. Nick Bostrom dit qu'alors, elle nous dépasserait : « L'intelligence machine est la dernière invention que l'humanité aura jamais besoin de faire. » Philosophe et technologue, il nous demande de bien réfléchir au monde que nous bâtissons, régit par l'intelligence machine. Nous machines intelligentes nous aideront-elles à préserver l'humanité et ses valeurs ou auront elles les leurs ?

Je travaille avec des mathématiciens,
philosophes et informaticiens,

et nous nous réunissons pour imaginer
le futur de l'intelligence artificielle,

entre autres choses.

Certains pensent que
c'est un peu de la science-fiction,

complètement éloigné du réel.

Mais j'aime dire,

d'accord, jetons un coup d'oeil
à la condition humaine moderne.

(Rires)

C'est la façon normale d'être des choses.

Mais si on y pense,

nous ne sommes en fait que des invités
récemment arrivés sur cette planète,

l'espèce humaine.

Imaginez si la Terre
avait été créée il y a un an,

l'espèce humaine existerait alors
depuis dix minutes.

L'ère industrielle a débuté
il y a deux secondes.

Une autre façon de voir est de calculer

le PIB mondial
des 10 000 dernières années.

J'ai vraiment pris le temps
de faire un graphe pour vous.

Il ressemble à ça.

(Rires)

Drôle de courbe
pour une condition normale.

Je ne voudrais pas lui tourner le dos.

(Rires)

Demandons-nous, quelle est la cause
de cette anomalie ?

Certains diront que c'est la technologie.

C'est vrai, la technologie s'est accumulée
au cours de l'histoire humaine,

et aujourd'hui, la technologie
progresse très rapidement --

c'est la cause la plus proche,

c'est pourquoi nous sommes
si productifs de nos jours.

Mais je préfère réfléchir en remontant
à la cause fondamentale.

Regardez ces deux messieurs
très distingués :

Nous avons Kanzi --

il maîtrise 200 symboles lexicaux,
un exploit incroyable.

Et Ed Witten a déclenché
la seconde révolution des supercordes.

Si nous regardons sous la capuche,
voici ce que l'on trouve :

en gros, la même chose.

L'un est un peu plus grand,

il y a peut-être aussi quelques
subtilités de câblage.

Ces différences invisibles ne peuvent
être trop compliquées quoi qu'il en soit,

car il n'y a eu que
250 000 générations

depuis notre dernier ancêtre commun.

Nous savons que les mécanismes compliqués
demandent beaucoup de temps pour évoluer.

Donc des changements relativement mineurs

nous emmènent de Kanzi à Witten,

de branches arrachées aux arbres aux
missiles balistiques intercontinentaux.

Il semble alors assez évident
que tout ce que nous avons réalisé,

et ce que nous chérissons,

dépend principalement de quelques
changements mineurs

qui ont aboutit à l'esprit humain.

Le corollaire, bien sûr,
est que tout changement à venir

qui pourrait changer significativement
le substrat de la pensée

pourrait avoir potentiellement
d'énormes conséquences.

Certains de mes collègues
pensent que nous sommes sur le point

de développer quelque chose qui pourrait
causer un tel changement dans ce substrat,

et c'est la super
intelligence artificielle.

Avant, l'intelligence artificielle consistait
à mettre des commandes dans une boîte.

Il y avait des programmeurs humains

qui fabriquaient minutieusement
des objets savants.

On construisait ces systèmes experts,

et ils étaient utiles
pour certains buts,

mais ils étaient très fragiles,
on ne pouvait pas les agrandir.

En gros, vous n'aviez que
ce que vous aviez mis dedans.

Mais depuis,

une révolution conceptuelle s'est opérée
dans le domaine de l'I.A..

Aujourd'hui, l'action est centré sur
l'apprentissage machine.

Plutôt que de coder à la main des
programmes et leurs caractéristiques,

on crée des algorithmes qui apprennent,

souvent à partir
des données brutes perçues.

En gros, la même chose que fait un enfant.

Le résultat est une I.A.
qui n'est pas limitée à un domaine --

le même système peut apprendre à traduire
n'importe quel couple de langues,

ou apprendre à jouer n'importe quel jeu
sur la console Atari.

Bien sûr,

l'I.A. est toujours loin d'avoir
la capacité puissante et transversale

à apprendre et planifier
d'un être humain.

Le cortex a encore des
secrets algorithmiques

que nous ne savons pas
intégrer dans les machines.

Donc la question est,

combien de temps nous faudra-t-il
pour réussir à les intégrer ?

Il y a quelques années,

nous avons fait un sondage
auprès des experts mondiaux des I.A.,

pour voir ce qu'ils pensaient,
et une des questions posées était,

« En quelle année pensez-vous
qu'il y aura 50% de chance

qu'une I.A. atteigne le niveau
d'une intelligence humaine ? »

Nous définissons ici le seuil à atteindre
par la capacité de l'I.A. à réaliser

presque toutes les tâches
au moins aussi bien qu'un adulte,

donc réellement comme un humain,
pas seulement dans un domaine limité.

La réponse médiane était 2040 ou 2050,

en fonction du groupe d'experts
que nous interrogions.

Ça pourrait se produire
bien plus tard ou bien plus tôt,

la vérité est que personne ne le sait.

Ce que nous savons est que la limite
de traitement de l'information

dans une machine est bien supérieure
à celle d'un tissu biologique.

Ça s'explique par la physique.

Un neurone biologique "décharge"
environ à 200 hertz, 200 fois par seconde.

Mais, même un transistor actuel
fonctionne au gigahertz.

L'information se propage dans les neurones
le long d'axones à 100 m/s maximum.

Mais dans les ordinateurs, le signal
peut voyager à la vitesse de la lumière.

Il y a aussi des limitations de taille,

car le cerveau humain
doit rentrer dans la boîte crânienne,

mais un ordinateur peut être
de la taille d'un entrepôt ou plus grand.

Donc le potentiel de super intelligence
est en sommeil dans la matière,

tout comme la puissance de l'atome
est restée en sommeil

tout au long de l'histoire humaine,
attendant patiemment jusqu'en 1945.

Au cours de ce siècle, il se peut
que les scientifiques apprennent

à réveiller la puissance de l'I.A..

Je pense que nous pourrions alors
assister à une explosion d'intelligence.

La plupart des gens, quand ils pensent
à ce qui est bête ou intelligent

ont une image de ce genre en tête.

À une extrémité on a l'idiot du village,

et à l'autre bout

on a Ed Witten, ou Albert Einstein,
ou votre gourou, qui qu'il soit.

Mais je pense que du point de vue
de l'intelligence artificielle,

la véritable image est plus probablement
comme ceci, en réalité :

l'I.A. commence à cet endroit,
à zéro intelligence,

et ensuite, après de nombreuses
années de dur labeur,

peut-être, arrivons-nous au niveau
de l'intelligence d'une souris,

quelque chose qui peut naviguer
dans des environnements encombrés

aussi bien qu'une souris.

Ensuite, après encore plus d'années de
dur labeur et beaucoup d'investissements,

peut-être, finalement, arrivons-nous
au niveau d'intelligence d'un chimpanzé.

Ensuite, après toujours plus d'années
de vraiment très dur labeur,

nous arrivons au niveau d'intelligence
de l'idiot du village.

Et quelques mois plus tard,
nous sommes après Ed Witten.

Le train ne s'arrête pas
à la station Humainville.

Il va plutôt passer à fond devant.

Il y a là de profondes implications,

en particulier quand il est question
de pouvoir.

Par exemple, les chimpanzés sont forts --

à poids équivalent, un chimpanzé est
deux fois plus fort qu'un homme adulte.

Pourtant, le destin de Kanzi
et de ses congénères dépend beaucoup plus

de ce que font les humains que de ce que
les chimpanzés font eux-mêmes.

Une fois que la super intelligence
sera là,

le destin de l'humanité pourrait dépendre
des actions de cette super intelligence.

Pensez-y :

l'I.A. est la dernière invention que
l'homme aura jamais besoin de faire.

Les machines seront alors de meilleurs
inventeurs que nous le sommes,

et elles inventeront sur des échelles
de temps numériques.

Ça veut dire un télescopage avec le futur.

Pensez à toutes les technologies
incroyables que vous avez imaginées,

que les hommes pourraient
avoir développées avec le temps :

plus de vieillissement,
colonisation de l'espace,

nano-robots auto-répliquants,

téléchargement d'esprits humains
dans des ordinateurs,

plein de technologies de science-fiction

qui sont néanmoins cohérentes
avec les lois de la physique.

Toute cette super intelligence pourrait
se développer assez rapidement.

Bon, une super intelligence avec
une telle maturité technologique

serait extrêmement puissante,

et au moins dans certains scénarios,
serait capable d'obtenir ce qu'elle veut.

Nous aurions alors un futur modelé
par les préférences de cette I.A.

Une bonne question est,
quelles sont ces préférences ?

C'est là que ça devient délicat.

Pour progresser là-dessus,

nous devons tout d'abord
éviter tout anthropomorphisme.

C'est ironique car dans tous
les articles de journaux

qui parle de l'avenir de l'I.A.
comportent une image de ceci.

Je pense que nous devons concevoir
ce problème de manière plus abstraite,

et non en scénario hollywoodien fertile.

Nous devons penser à l'intelligence
comme un processus d'optimisation,

un processus qui guide le futur
dans un certain jeu de configurations.

Une super intelligence est un
processus d'optimisation très fort.

Elle est très douée pour utiliser les
moyens disponibles pour atteindre un état

dans lequel son but est réalisé.

Ça signifie qu'il n'y a pas
de nécessaire connexion entre

le fait d'être très intelligent
dans ce sens,

et avoir un objectif que nous, humains,
trouverions utile ou significatif.

Supposons qu'on donne comme but
à une I.A. de faire sourire les humains.

Quand l'I.A. est faible, elle réalise
des actions utiles ou amusantes

qui provoque le sourire de l'utilisateur.

Quand l'I.A. devient super intelligente,

elle réalise qu'il y a un moyen
plus efficace d'atteindre son objectif :

prendre le contrôle du monde

et implanter des électrodes
dans les muscles faciaux des humains

pour provoquer des sourires
rayonnants et constants.

Un autre exemple,

supposons qu'on demande à une I.A.
de résoudre un problème de math très dur.

Quand l'I.A. devient super intelligente,

elle réalise que le moyen le plus efficace
pour résoudre ce problème

est de transformer la planète
en un ordinateur géant,

pour augmenter sa capacité de calcul.

Remarquez que ça donne aux I.A.s
une raison pratique

de faire des choses
que nous pourrions ne pas approuver.

Les humains sont des menaces
dans ce modèle,

car nous pourrions empêcher
la résolution du problème.

Bien sûr, les choses perceptibles
ne tourneront pas mal de ces façons-là ;

ce sont des exemples caricaturés.

Mais l'argument général est important :

si vous créez un processus d'optimisation
très puissant

pour maximiser les chances
d'atteindre l'objectif x,

vous devez vous assurer
que votre définition de x

incorpore tout ce à quoi vous tenez.

C'est une leçon qui est enseignée
dans de nombreux mythes.

Le roi Midas souhaitait que tout
ce qu'il touche se transforme en or.

Il touche sa fille,
elle se transforme en or.

Il touche sa nourriture,
elle se transforme en or.

Ça pourrait devenir
pertinent en pratique,

ne pas se limiter à une métaphore
de la cupidité

mais illustrer ce qui arrive

si vous créez un processus
d'optimisation puissant

et lui donnez des objectifs
mal conçus ou trop vagues.

Vous pourriez dire que si un ordinateur
commence à nous implanter des électrodes,

nous le débrancherions.

A, ce n'est pas forcément si facile
à faire si nous sommes devenus dépendants,

par exemple,
comment arrête-t-on internet ?

B, pourquoi les chimpanzés
ou les Neandertals

n'ont-ils pas
empêché l'humanité ?

Ils avaient de bonnes raisons.

Nous avons un interrupteur,
par exemple, juste ici.

(Suffocation)

La raison est que nous sommes
un adversaire intelligent ;

nous pouvons anticiper les menaces
et planifier des solutions.

Mais une super intelligence
pourrait le faire aussi,

et elle le ferait bien mieux que nous.

L'important est que nous ne devrions pas
croire que nous avons tout sous contrôle.

Nous pourrions tenter
de nous faciliter la tâche, disons

en mettant l'I.A. dans une boîte,

comme un environnement logiciel sûr,

une simulation de la réalité
d'où elle ne peut s'échapper.

Mais à quel point sommes-nous sûrs
qu'elle ne trouvera pas un bug.

Étant donné que de simples hackers humains
trouvent toujours des bugs,

je dirais, probablement pas très sûrs.

Donc on déconnecte le câble Ethernet
pour créer une séparation physique,

mais encore une fois,
comme de simples hackers humains

transgressent les séparations physiques
grâce à l'ingéniérie sociale.

À l'heure où je vous parle,
en ce moment-même,

je suis sûr qu'il y a un employé,
quelque part

à qui quelqu'un prétendant être
du département informatique

a demandé de donner
son identifiant et son mot de passe.

Des scénarios plus créatifs
sont aussi possibles,

par exemple, si vous êtes une I.A.

vous pouvez déplacer des électrodes
dans vos circuits internes

pour créer des ondes radio que vous
utiliserez pour communiquer.

Ou vous pouvez prétendre
dysfonctionner,

et quand les ingénieurs vous ouvrent
pour voir ce qui ne marche pas,

ils regardent votre code source
-- Vlan ! --

la manipulation peut commencer.

Ou elle pourrait produire le plan
d'une nouvelle technologie géniale,

et quand nous l'implementons,

elle a quelques effets secondaires furtifs
planifiés par l'I.A.

Donc nous ne devrions pas
faire confiance à notre capacité

à garder un génie super intelligent
prisonnier dans sa lampe éternellement.

À un moment donné, il va s'échapper.

Je crois que la réponse à ça
est de découvrir

comment créer une super intelligence
telle que même si ou quand elle s'échappe,

on est toujours en sécurité car
elle est fondamentalement de notre côté

car elle partage nos valeurs.

Je ne vois aucune solution à ce problème.

Mais je suis plutôt optimiste quant le fait
que ce problème peut être résolu.

Nous n'aurions pas à écrire une longue
liste de tout ce que nous chérissons,

ou, encore pire, devoir le coder
en language informatique

comme C++ ou Python,

ce qui serait une tâche sans espoir.

Au lieu de ça, nous créerions une I.A.
qui utilise son intelligence

pour apprendre nos valeurs,

et son système de motivation est construit
de telle sorte qu'elle est motivée

par la recherche de valeurs ou d'actions
qu'elle prédit que nous approuverions.

Nous pourrions ainsi influencer
son intelligence autant que possible

à résoudre des problèmes importants.

Ça peut arriver,

et le résultat en serait très positif
pour l'humanité.

Mais ça n'arrive pas automatiquement.

Les conditions initiales
de l'explosion de l'intelligence

devront être programmées
de manière précise

si nous voulons obtenir
une détonation contrôlée.

Les valeurs de l'I.A. devront
correspondre aux nôtres,

pas seulement dans un contexte familier,

où il est facile de contrôler
comment l'I.A. se comporte,

mais aussi dans de nouveaux contextes
que l'I.A. pourrait rencontrer

dans un futur indéfini.

Il y a aussi des problèmes ésotériques
qui devront être résolus :

les détails exacts
de sa théorie de décision,

comment gérer l'incertitude logique
et ainsi de suite.

Les problèmes techniques qui doivent
être surmontés pour que ça marche

semblent ardus--

pas autant que de faire
une I.A. super intelligente,

mais assez ardus.

Là où c'est inquiétant, c'est que

faire une I.A. super intelligente
est un défi vraiment difficile.

Faire une I.A. super intelligente
qui soit sûre

implique quelques
défis supplémentaires.

Le risque est que si quelqu'un trouve
comment résoudre le premier défi

sans avoir aussi résolu

l'autre défi, celui d'assurer
une sécurité parfaite.

Je pense que nous devrions donc
commencer à résoudre

le problème de contrôle d'abord,

pour qu'il soit disponible
quand on en aura besoin.

On ne pourra peut-être pas résoudre
tout le problème du contrôle à l'avance

car certains éléments ne peuvent
être mis en place

qu'une fois qu'on connait les détails
de l'architecture où ce sera implémenté.

Mais plus nous résolvons ce problème
de contrôle à l'avance,

meilleure sera notre chance
que la transition vers l'ère de l'I.A.

se passera bien.

Pour moi, ça semble valoir la peine

et j'imaginer que,
si tout se passe bien,

les gens, dans un million d'années,
penseront peut-être

que la chose qui a vraiment été
importante dans notre siècle

était de faire ça bien.

Merci.

(Applaudissements)