< Return to Video

36C3 - Mensch - Kunst – Maschine

  • 0:00 - 0:20
    36c3 Vorspannmusik
  • 0:20 - 0:25
    Herald: Der nächste Vortrag handelt von
    etwas, was mich etwas beunruhigt,
  • 0:25 - 0:30
    möglicherweise aber was auch extrem
    spannend ist. Wir haben uns ja schon damit
  • 0:30 - 0:34
    abgefunden, dass uns Maschinen zunehmend
    überholen, also dass ich nicht mehr
  • 0:34 - 0:38
    schneller rechnen kann als mein Computer
    zuhause. Das überrascht mich überhaupt
  • 0:38 - 0:42
    nicht. Als Wissenschaftler benutzen wir
    Rechner, um uns zu unterstützen, große
  • 0:42 - 0:47
    Datenmengen zu analysieren. Aber so ein
    Rückzugsgebiet war für mich immer noch die
  • 0:47 - 0:51
    Kunst. Da habe ich das Gefühl, dass es
    etwas Menschliches. Da wird man uns so
  • 0:51 - 0:55
    schnell nicht einholen, dieses Kreative.
    Aber die Frage ist: Ist das eigentlich
  • 0:55 - 0:59
    noch Stand der Technik? Ist das überhaupt
    noch? Kann man das überhaupt noch so
  • 0:59 - 1:03
    sagen? Und da werden wir jetzt einen
    schönen Vortrag hören von jemandem, der
  • 1:03 - 1:08
    sich genau damit auskennt. Von Simon
    Hegelich. Simon ist nämlich Professor für
  • 1:08 - 1:13
    Political Data Science an der TU München.
    Er benutzt Deep Learning Tools unter
  • 1:13 - 1:17
    anderem auch für das Kunstprojekt
    TensorFloyd. Er wird reden über:
  • 1:17 - 1:22
    Mensch - Kunst - Maschine
    mit künstlicher Intelligenz zu neuer Kunst
  • 1:22 - 1:27
    zum kybernetischen Verstand.
    Simon, die Bühne gehört dir.
  • 1:27 - 1:29
    Simon: Danke sehr.
  • 1:29 - 1:33
    Applaus
  • 1:33 - 1:38
    Simon: Ich finde es ja super, dass sich so
    viele Leute das anhören wollen. Ich hatte
  • 1:38 - 1:42
    die Gelegenheit, gestern Abend auch schon
    sehr viel mit tollen Leuten hier auf dem
  • 1:42 - 1:47
    Kongress zu reden, die selber KI benutzen,
    um damit Kunst zu machen. Wir haben sofort
  • 1:47 - 1:51
    festgestellt, dass es viel zu diskutieren
    gibt. Insofern will ich mich auch bemühen,
  • 1:51 - 1:56
    nicht ganz die Zeit auszureizen, dass wir
    nachher noch ein bisschen Raum für
  • 1:56 - 2:01
    Diskussionen zusammen haben, weil ich
    glaube, dass da sehr viel Kontroversen
  • 2:01 - 2:05
    geben wird. Weil es einfach zwei große
    Begriffe zusammenbringt, die beide für
  • 2:05 - 2:08
    sich genommen überhaupt gar nicht wirklich
    definiert sind, nämlich Kunst und
  • 2:08 - 2:12
    künstliche Intelligenz. Die eine Hälfte
    von euch sagt wahrscheinlich: "Ja, das ist
  • 2:12 - 2:16
    aber keine Kunst", die andere sagt: "Das
    ist keine künstliche Intelligenz". Und ihr
  • 2:16 - 2:21
    habt auch recht damit. Aber was ich heute
    machen will ist, ein bisschen zeigen, was
  • 2:21 - 2:25
    ist eigentlich der Stand der Technik, auch
    wirklich über die Technik reden, was wird
  • 2:25 - 2:28
    da eigentlich gerade gemacht?
    Zum Einstieg habe ich mir folgendes
  • 2:28 - 2:32
    überlegt: Ich möchte zwei Gedichte
    vortragen, und das eine ist von einer
  • 2:32 - 2:37
    künstlichen Intelligenz geschrieben, die
    ich programmiert habe, und das andere von
  • 2:37 - 2:41
    Jim Morrison. Und dann möchte ich
    natürlich gerne nachher wissen, wer
  • 2:41 - 2:49
    glaubt, welches Gedicht von wem denn ei-
    gentlich geschrieben ist. Ich fang mal an!
  • 2:49 - 2:53
    I exorcise a ghost
    the sun glared on the dark
  • 2:53 - 2:57
    the dead
    the dead have in the spruce
  • 2:57 - 3:01
    the dead abstractedness
    the dead have very close relatives.
  • 3:01 - 3:06
    my mother is good for her.
    Erstes Gedicht.
  • 3:13 - 3:20
    Zweites Gedicht:
    The fear
  • 3:20 - 3:27
    eternal consciousness in the void
    makes trial ... jail seem almost friendly
  • 3:27 - 3:31
    a kiss in the storm
    i'm freezing
  • 3:31 - 3:33
    animals
    dead
  • 3:33 - 3:37
    white wings of
    rabbits
  • 3:40 - 3:46
    Wer glaubt, dass das erste Gedicht Jim
    Morrison war? Und wer glaubt, dass das
  • 3:46 - 3:53
    zweite Gedicht Jim Morrison war? Ich kann
    es vom Licht her ziemlich schlecht sehen,
  • 3:53 - 3:58
    aber ihr seht auf jeden Fall. Beide
    Antworten haben eine Followerschaft. Wir
  • 3:58 - 4:02
    wissen jetzt schon gar nicht mehr - genau,
    ich könnte hier das Video auch noch
  • 4:02 - 4:04
    starten übrigens.
  • 4:09 - 4:13
    Wir sind offenbar jetzt schon an
    einem Stand, wo Computer Kunst generieren
  • 4:13 - 4:18
    können, die wir ohne weiteres nicht
    unterscheiden können von menschlich
  • 4:18 - 4:21
    generierter Kunst. Und jetzt möchte ich
    erst mal kurz erzählen, was haben wir denn
  • 4:21 - 4:26
    da gerade eigentlich erlebt? Was war das?
    Was ist da passiert? Also, wir haben seit
  • 4:26 - 4:32
    einigen Jahren ja jetzt einen, wie man
    gestern hören konnte hier auf dem Kongress
  • 4:32 - 4:36
    einen Hype, was Deep Learning anbelangt,
    und Deep Learning ist aber ein bisschen
  • 4:36 - 4:39
    mehr als nur ein Hype. Da steckt
    tatsächlich was dahinter. Erst mal ist
  • 4:39 - 4:46
    es ein Verfahren des maschinellen Lernens,
    und das Grundprinzip, wenn man sich das
  • 4:46 - 4:51
    ganz einfach vorstellt, ist so, dass wir
    beliebige unstrukturierte Daten nehmen
  • 4:51 - 4:55
    können und wir kennen aber schon die
    Antwort. Das nennt sich dann Supervised
  • 4:55 - 5:01
    Learning. Und dann bauen wir eine große,
    komplexe mathematische Formel, die den
  • 5:01 - 5:05
    Input, den wir haben, in irgendetwas
    transformiert, was möglichst nah an dem
  • 5:05 - 5:11
    dran ist, was wir als Output eigentlich
    erwarten, was wir haben wollen. Dieses
  • 5:11 - 5:15
    Prinzip, da brauche ich kein Deep Learning
    für, das ist erst mal das Grundprinzip
  • 5:15 - 5:19
    maschinellen Lernens. Gibt es ganz unter-
    schiedliche Algorithmen dafür, wo es dann
  • 5:19 - 5:23
    halt um die Frage geht: Was baue ich
    eigentlich für eine mathematische Formel
  • 5:23 - 5:28
    zwischen diesem Input und dem Output? Und
    ich kann das auch mit Texten machen. Ich
  • 5:28 - 5:34
    kann Texte, Wörter umformen in Zahlen. Da
    kann der Computer damit rechnen, und dann
  • 5:34 - 5:38
    kann ich eine mathematische Funktion
    machen, die ihm diese Zahlen umwandelt in
  • 5:38 - 5:41
    die Zahlen, die ich eigentlich dann
    erwarte vom Output her. Was ich hier
  • 5:41 - 5:48
    verwendet habe, ist ein sogenanntes
    Sequence-to-Sequence-Model. Das ist ein
  • 5:48 - 5:52
    Deep Learning Model erst einmal, bevor wir
    zu Deep Learning kommen. Es gibt eine
  • 5:52 - 5:58
    Klasse von Algorithmen, die verwendet wird
    für dieses maschinelle Lernen, das nennt
  • 5:58 - 6:02
    sich neuronale Netze. Ein neuronales Netz
    ist an sich eigentlich etwas ziemlich
  • 6:02 - 6:06
    Einfaches. Ich muss mir das so vorstellen:
    Ich habe jetzt Worte zum Beispiel, und
  • 6:06 - 6:13
    jedes Wort kriegt eine Zahl zugeordnet.
    Und dann habe ich eine... es wird immer
  • 6:13 - 6:18
    gesagt Neuronale Netze, das ist so wie das
    Gehirn. Also neuronale Sachen - ist
  • 6:18 - 6:21
    totaler Unfug. Das hat mit dem Gehirn
    eigentlich wirklich überhaupt nichts zu
  • 6:21 - 6:25
    tun, ist noch nicht mal ein Netz, sondern
    ist eigentlich nur eine andere
  • 6:25 - 6:28
    Darstellungsweise, wie ich eine
    mathematische Funktion aufschreiben kann,
  • 6:28 - 6:32
    nämlich in Form eines Graphen. Die
    mathematische Funktion bei neuronalen
  • 6:32 - 6:37
    Netzen ist relativ primitiv. Da geht es
    einfach nur darum, dass Inputs
  • 6:37 - 6:43
    multipliziert werden mit einem Parameter.
    Der ist dann noch näher zu bestimmen. Und
  • 6:43 - 6:46
    das wird alles aufaddiert. Und dann ist
    die Frage: Löst es eine
  • 6:46 - 6:50
    Aktivierungsfunktion aus oder nicht? Und
    wenn es das tut, dann wird das Signal
  • 6:50 - 6:54
    weitergegeben, und dann kann ich
    verschiedene Layers hintereinander machen.
  • 6:54 - 7:03
    Der Vorteil bei neuronalen Netzen ist,
    dass ich sehr viele von diesen Parametern
  • 7:03 - 7:10
    in meine mathematische Formel reinbringen
    kann und dann einen relativ effizienten
  • 7:10 - 7:16
    Algorithmus habe, der diese Parameter
    automatisch optimiert. Das heißt also, ich
  • 7:16 - 7:20
    stelle das Modell auf. Der Computer
    berechnet dann aber anhand der Daten, die
  • 7:20 - 7:25
    es gibt, was sind eigentlich die richtigen
    Werte für diese Parameter? So, jetzt geht
  • 7:25 - 7:32
    Deep Learning noch ein bisschen darüber
    hinaus. Da ist der Unterschied, dass diese
  • 7:32 - 7:37
    Signale nicht mehr einfach nur ein Signal
    ans nächste weitergegeben werden, sondern
  • 7:37 - 7:40
    dass ich komplexere Architekturen aufbaue,
    wo es zum Beispiel Feedbackfunktionen
  • 7:40 - 7:45
    gibt. Im konkreten Fall ist es, wie
    gesagt, ein sogenanntes Sequence-to-
  • 7:45 - 7:49
    Sequence-Model, was mit Attention
    funktioniert. Das sind so Zauberwörter im
  • 7:49 - 7:53
    Moment, aber das ist eigentlich relativ
    primitiv. Das heißt, ich habe als Input
  • 7:53 - 7:58
    eine Sequenz von einem Satz, die geht in
    ein neuronales Netz, das ist dann ein
  • 7:58 - 8:01
    sogenannter Encoder, der produziert ein
    Signal. Ich habe aber auch ein zweites
  • 8:01 - 8:07
    neuronales Netz, den sogenannten Decoder.
    Der kriegt den schon bekannten Output,
  • 8:07 - 8:11
    auch wieder eine Sequenz von Texten, und
    die können dann eben halt unterschiedlich
  • 8:11 - 8:17
    lang sein, ist also keine Wort zu Wort-
    Übersetzung mehr und verwandelt den Output
  • 8:17 - 8:21
    aus dem Encoder im Decoder wieder dann in
    irgendwas, was möglichst nahe da dran sein
  • 8:21 - 8:28
    soll. Attention ist dann noch so eine
    Subklasse davon. Da ist man übergegangen,
  • 8:28 - 8:33
    das, was wir gleich noch sehen werden. An
    einer Stelle ist das sehr wichtig. In
  • 8:33 - 8:37
    diesen neuronalen Netzen ist sehr viel
    Zufall drin. Die ganzen Parameter, die
  • 8:37 - 8:41
    werden erst mal zufällig gesetzt und dann
    Schritt für Schritt optimiert. Da ist es
  • 8:41 - 8:49
    sehr interessant, wenn man mehrere Netze
    gleichzeitig trainiert und dann schaut,
  • 8:49 - 8:54
    wenn ich eine Korrelation zwischen diesen
    Netzen bilde, welche Position, welches
  • 8:54 - 8:57
    Wort in dem Satz zum Beispiel ist
    eigentlich jetzt besonders wichtig. Und
  • 8:57 - 9:01
    das ist das Prinzip hinter diesen
    attention networks, die im Moment
  • 9:01 - 9:05
    ziemlich, ziemlich angesagt sind, weil sie
    sehr gute Ergebnisse bringen. Das ist das,
  • 9:05 - 9:10
    was wir gerade gesehen haben. Das heißt
    wir hatten also einen Input. Und jetzt
  • 9:10 - 9:13
    noch die Frage: Was war eigentlich der
    Input? Dieses Netzwerk, was ich benutzt
  • 9:13 - 9:18
    habe, ist trainiert, mehr oder weniger auf
    den kompletten Kanon der amerikanischen
  • 9:18 - 9:23
    Lyrik, und zwar so, dass der Input immer
    die erste Zeile eines Gedichts ist und der
  • 9:23 - 9:28
    Output die zweite. Eigentlich ist das ein
    Algorithmus, der häufig verwendet wird für
  • 9:28 - 9:32
    automatische Übersetzung. Wenn ich zum
    Beispiel vom Spanischen ins Englische
  • 9:32 - 9:35
    automatisch übersetzen will. Ich kann
    jetzt aber eben auch was anderes
  • 9:35 - 9:42
    reinschmeißen in dieses Netz. Ich gebe dem
    Computer die erste Zeile und der soll
  • 9:42 - 9:49
    dann die zweite Zeile eines Gedichts
    vorhersagen. Und dazwischen, und das macht
  • 9:49 - 9:52
    es ein bisschen kompliziert, steht jetzt
    also unser Modell, was eigentlich eine
  • 9:52 - 9:57
    mathematische Formel ist. Aber diese
    mathematische Formel hat im konkreten Fall
  • 9:57 - 9:59
    160 Millionen unbekannte Parameter,
  • 9:59 - 10:03
    trinkt
  • 10:03 - 10:08
    die optimiert werden und das
    ist der Grund, warum man
  • 10:08 - 10:13
    tatsächlich sagt: Diese Deep Learning
    Modelle sind letzten Endes Blackbox
  • 10:13 - 10:17
    Modelle, weil selbst wenn ich weiß, wie
    das funktioniert, habe ich eigentlich
  • 10:17 - 10:21
    keine Chance mehr herauszufinden, welchen
    Einfluss welcher dieser 160 Millionen
  • 10:21 - 10:27
    Parameter auf mein Modell nachher hat. Ich
    kann nur über weitere Verfahren z.B. über
  • 10:27 - 10:31
    generative Modelle versuchen,
    herauszufinden, welche Muster hat denn
  • 10:31 - 10:37
    dieses Modell eigentlich gelernt? Und das
    ist wieder ein ganz interessanter Ansatz,
  • 10:37 - 10:45
    um neue kreative Elemente, Werkzeuge zu
    finden. Also hier zum Beispiel, was wir
  • 10:45 - 10:49
    sehen. Das ist sehr viel, was hier
    verwendet wird, einerseits, in diesen
  • 10:49 - 10:54
    Videos nennt sich Style Transfer, aber
    auch Deep Dream und gerade Deep Dream,
  • 10:54 - 10:57
    mein Algorithmus, der eigentlich
    entwickelt worden ist, um wieder zu
  • 10:57 - 11:02
    visualisieren, welche Muster diese tiefen
    neuronalen Netze eigentlich gelernt haben.
  • 11:03 - 11:07
    Das heißt, es entstehen also neue Tools
    und ich glaube, das ist eigentlich im
  • 11:07 - 11:13
    Moment auch der Stand, den wir tatsächlich
    haben, bei der Frage: Was ist eigentlich
  • 11:13 - 11:19
    künstliche Kunst heute? Wir haben, glaube
    ich, keine künstliche Kunst, sondern was
  • 11:19 - 11:24
    wir haben, ist, dass wir ziemlich coole
    Tools haben, die wir verwenden können, die
  • 11:24 - 11:31
    interessante Sachen machen. Denn die Frage
    ist ja: Wenn wir es hinbekommen, dass ein
  • 11:31 - 11:37
    Computer etwas produziert, was aussieht
    wie Kunst, reicht das, dass das Kunst ist.
  • 11:37 - 11:44
    Und da würde ich sagen: Nein, das reicht
    nicht. Wir haben zwar viele kreative
  • 11:44 - 11:48
    Sachen, die wir verwenden können, die aber
    eigentlich auch nichts anderes sind als
  • 11:48 - 11:53
    eine neue Art von Pinsel oder so. Wo wir
    halt neue Verfahren anwenden können. Und
  • 11:53 - 11:57
    wir selber sind aber kreativ. Wir benutzen
    das, wir erschaffen damit etwas Neues. Der
  • 11:57 - 12:01
    Computer erschafft ja in dem Sinne gar
    nichts. Der kriegt es zwar hin, uns
  • 12:01 - 12:06
    vorzugaukeln, dass da irgendwie was
    rauskommt, was Kunst ist. Aber ich denke,
  • 12:06 - 12:10
    die meisten Leute werden mit mir
    übereinstimmen, dass das eigentlich nicht
  • 12:10 - 12:15
    das ist, was wir meinen, wenn wir über
    Kunst reden. Also zum Beispiel: sich heute
  • 12:15 - 12:20
    hinzusetzen - jeder, der Kunst studiert
    hat, zum Beispiel, könnte sich theoretisch
  • 12:20 - 12:27
    hinsetzen und könnte vermutlich ziemlich
    ziemlich gute Bilder malen, die sehr nach
  • 12:27 - 12:32
    Picasso aussehen. Das ist ja auch
    teilweise gar nicht so schwer, was Picasso
  • 12:32 - 12:36
    da gemalt hat. Also Picasso zu simulieren,
    ist sicherlich gar nicht die große
  • 12:36 - 12:41
    Herausforderung. Aber wer von uns möchte
    sagen, dass er ein Picasso ist? Man merkt
  • 12:41 - 12:47
    schon, wenn wir über Kunst reden, geht es
    eigentlich um mehr als nur darum, dass wir
  • 12:47 - 12:53
    das Publikum reinlegen. Das ist übrigens
    generell, weil es soll ja auch um
  • 12:53 - 12:58
    künstliche Intelligenz gehen, ein großes
    Problem an dieser alten Vorstellung des
  • 12:58 - 13:04
    Turing-Tests. Alan Turing, in seinem
    Imitation Game, hat halt genau darauf
  • 13:04 - 13:08
    gesetzt; er hat gesagt, wenn wir einen
    Computer bauen, wo Menschen nicht
  • 13:08 - 13:13
    unterscheiden können, denkt er jetzt
    eigentlich oder denkt er nicht bzw.
  • 13:13 - 13:18
    Konversation mit dem Computer - der Mensch
    kann nicht unterscheiden, rede ich mit
  • 13:18 - 13:22
    einem Menschen oder mit einem Computer?
    Wenn wir das hinkriegen, haben wir echte
  • 13:22 - 13:27
    künstliche Intelligenz. Eigentlich Unfug,
    weil nur weil ein Computer in der Lage
  • 13:27 - 13:32
    ist, uns Menschen reinzulegen, heißt das
    ja noch lange nicht, dass er wirklich dazu
  • 13:32 - 13:37
    in der Lage wäre, ja, zu denken, einen
    Verstand zu produzieren. Und das Gleiche
  • 13:37 - 13:42
    gilt bei Kunst. Nur weil irgendwas aus dem
    Computer rauskommt, was vielleicht auch
  • 13:42 - 13:47
    für das ungeschulte Auge aussieht, als
    wäre es Kunst, ist es damit ja noch lange
  • 13:47 - 13:51
    nicht das, was wir eigentlich mit Kunst
    meinen, weil eben gerade diese diese
  • 13:51 - 13:58
    Kreativität fehlt. Weil das Neue fehlt. Es
    wird gar nichts Neues erschaffen. Und da
  • 13:58 - 14:05
    ist der Hauptgrund dafür, dass diese
    Systeme erzkonservativ sind. Die lernen
  • 14:05 - 14:10
    aus großen Datenmengen Muster, die dann in
    diesen Daten schon drin sind. Die
  • 14:10 - 14:14
    erschaffen aber in dem Sinne gar nichts
    Neues. Es ist wirklich Pattern
  • 14:14 - 14:18
    Recognition. Das heißt nur ein Muster, was
    schon vorhanden ist in den Daten und
  • 14:18 - 14:22
    eigentlich auch nur ein Muster, was schon
    deutlich vorhanden ist, selbst wenn es
  • 14:22 - 14:26
    vielleicht ein Muster ist - da sind diese
    Systeme sehr, sehr gut - was wir selber
  • 14:26 - 14:31
    gar nicht erkennen würden. Die leisten
    schon da was, aber sie leisten eben genau
  • 14:31 - 14:36
    das. Sie leisten Mustererkennung, sie
    finden irgendwelche Muster und sind dann
  • 14:36 - 14:40
    in der Lage, diese Muster zu
    reproduzieren. Das ist eigentlich genau
  • 14:40 - 14:44
    das Gegenteil von dem, was wir uns
    vorstellen, wenn wir über Kunst reden.
  • 14:46 - 14:50
    Jetzt kann man allerdings einwenden - und
    ihr merkt, das dreht sich jetzt die ganze
  • 14:50 - 14:54
    Zeit immer, es ist es ein sehr
    dialektischer Talk - man kann jetzt
  • 14:54 - 15:01
    einwenden: Na ja, gut, Determinismus und
    Kunst, das passt nicht zusammen. Aber die
  • 15:01 - 15:06
    Negation des Determinismus, das ist ja der
    Zufall. Also wenn etwas zufällig ist, ist
  • 15:06 - 15:12
    es nicht determiniert. Ist durchaus was
    dran. Jetzt ist der erste Punkt schon mal:
  • 15:12 - 15:18
    Allein von der Technik steckt in diesen
    Deep Learning Modellen extrem viel Zufall.
  • 15:18 - 15:23
    Jeder dieser 160 Millionen Parameter, über
    die ich vorhin gesprochen habe, ist
  • 15:23 - 15:28
    zufällig gesetzt (jetzt kann man sich
    immer noch fragen, gibt es eigentlich
  • 15:28 - 15:31
    wirklich ein Zufall in Computern? Das ist
    eine andere, das ist eine
  • 15:31 - 15:34
    computerwissenschaftliche Metadebatte,
    weil der Computer muss ja irgendwie diese
  • 15:34 - 15:39
    Zufallszahlen entwickeln. Lassen wir mal
    raus.) Nehmen wir mal an, die
  • 15:39 - 15:43
    Initialisierung dieses Netzes ist
    tatsächlich zufällig. Und dann ist es
  • 15:43 - 15:47
    sehr, sehr leicht, an jeder Stelle noch
    einmal zusätzlichen Zufall zu injizieren,
  • 15:47 - 15:52
    wenn ich das möchte. Das heisst also, ich
    kann Systeme erzeugen, die tatsächlich
  • 15:52 - 15:58
    zufällig was Neues produzieren. So. Jetzt
    ist Zufall und Kunst aber ja auch noch
  • 15:58 - 16:01
    nicht ganz das Gleiche. Wenn wir das
    machen würden, dann wäre ja noch die
  • 16:01 - 16:05
    Frage: Ist das, was rauskommt, jetzt Kunst
    oder kann das weg? Ist das jetzt einfach
  • 16:05 - 16:10
    irgendwie Schrott, der produziert worden
    ist? Oder ist da irgendwas dran? Und da
  • 16:10 - 16:16
    wird's jetzt spannend, weil da ist
    eigentlich die Kunsttheorie, die sich zwar
  • 16:16 - 16:20
    sehr viel mit solchen Fragen schon
    auseinandergesetzt hat, aber eigentlich
  • 16:20 - 16:23
    relativ schlecht aufgestellt.
  • 16:23 - 16:26
    Woran mache ich das denn jetzt fest,
    was wirklich Kunst ist?
  • 16:26 - 16:31
    Dann kommt sehr schnell der
    Betrachter rein. Das Publikum.
  • 16:31 - 16:34
    So da ist aber auch die Frage:
    Wer ist das Publikum?
  • 16:34 - 16:38
    Wenn wir einfach sagen würden, das
    Publikum ist, wer auch immer das sieht?
  • 16:38 - 16:40
    Dann hatten wir ja vorhin schon den Test,
  • 16:40 - 16:44
    dann müssen wir jetzt sagen, okay, das ist
    Kunst gewesen, weil es gab ja bei jedem
  • 16:44 - 16:51
    der Gedichte einige Leute, die gesagt
    haben, das halte ich für Kunst.
  • 16:53 - 16:58
    Wenn ich vom allgemeinen Publikum weggehe,
    dann wird es sehr schnell sehr elitär.
  • 16:58 - 17:05
    Dann bin ich bei der Frage, Kunst ist ei-
    gentlich das, was entweder Institutionen
  • 17:05 - 17:11
    mit Macht, wie der Kunstmarkt, schätzen
    oder Personen mit Autorität.
  • 17:11 - 17:15
    Kunst ist, was andere Künstler sagen,
    was Kunst ist,
  • 17:15 - 17:17
    oder was Kunstkritiker sagen,
    was Kunst ist.
  • 17:17 - 17:21
    Kunst ist, was sich auf dem
    Kunstmarkt verkauft.
  • 17:21 - 17:23
    Auch da ist man jetzt in einem Bereich, da
  • 17:23 - 17:27
    gibt's ganz viele Widersprüche drin und
    auch ganz viele widersprüchliche Theorien.
  • 17:27 - 17:33
    Viele Leute würden das auch sagen, nein,
    das stimmt nicht. Kunst ist - ja was denn
  • 17:33 - 17:38
    eigentlich? Was als Kunst empfunden wird?
    Da ist man wieder bei der Frage, von wem
  • 17:38 - 17:45
    denn eigentlich empfunden? Also, wenn wir
    diese elitären Ansätze nicht wollen, haben
  • 17:45 - 17:48
    wir ein Problem an der Stelle, wenn wir
    sie akzeptieren in irgendeiner Art und
  • 17:48 - 17:54
    Weise, dass wir sagen, es gibt eine
    Autorität, die darüber entscheidet, was
  • 17:54 - 17:58
    Kunst ist und was nicht Kunst ist. Dann
    sind wir heute an dem Punkt, dass
  • 17:58 - 18:01
    neuronale Netze eigentlich die
    Entscheidungen dieser Autorität selber mit
  • 18:01 - 18:05
    simulieren können. Da sind wir bei einer
    neuen Klasse von neuronalen Netzen,
  • 18:05 - 18:08
    sogenannten GANS - Generative Adversarial
    Networks.
  • 18:08 - 18:12
    Das Prinzip ist ziemlich einfach, weil das
    Prinzip ist genau das Gleiche,
  • 18:12 - 18:14
    was wir vorhin am Anfang mit den
    Gedichten gesehen haben.
  • 18:14 - 18:18
    Ich kann jetzt (während ich das
    Modell trainiere, was die
  • 18:18 - 18:22
    Gedichte baut) einfach ein zweites
    Netzwerk noch dazunehmen und das
  • 18:22 - 18:27
    entscheidet, das kriegt echte Gedichte und
    die produzierten Gedichte, und dieses
  • 18:27 - 18:31
    zweite Netzwerk soll sagen, war das echt
    oder war das nicht echt? Und jedes Mal,
  • 18:31 - 18:35
    wenn das zweite Netzwerk eine richtige
    Entscheidung trifft, wird der Computer
  • 18:35 - 18:39
    dafür belohnt. Aber jedes Mal, wenn das
    erste Netzwerk es schafft, dem zweiten
  • 18:39 - 18:43
    Netzwerk ein falsches Gedicht
    unterzujubeln, wird der Computer auch
  • 18:43 - 18:47
    belohnt. Und dann habe ich eine eine
    ziemlich komplizierte mathematische
  • 18:47 - 18:51
    Formel, die ist dann auch nicht so einfach
    zu optimieren, weil ich dann zwei
  • 18:51 - 18:54
    unterschiedliche Sachen gleichzeitig
    optimieren will. Es geht aber theoretisch.
  • 18:54 - 18:58
    Das heißt also, wenn wir nur genügend
    Informationen darüber hätten, wie diese
  • 18:58 - 19:03
    Autorität, wer auch immer das sein soll,
    entscheidet, was Kunst ist und was nicht,
  • 19:03 - 19:08
    dann können wir das rein technisch machen
    und können vermutlich sogar konsistentere
  • 19:08 - 19:15
    Entscheidungen in diesem Bereich treffen
    als die wirkliche Autorität dies tut.
  • 19:15 - 19:20
    Insofern sind wir eigentlich jetzt bei dem
    Punkt, dass man sagen muss, na ja, gut,
  • 19:20 - 19:26
    eigentlich ist alles beieinander. Wir
    können, wenn wir die Frage, was Kunst ist,
  • 19:26 - 19:31
    einer externen Autorität überantworten
    wollen, können wir das rein technisch
  • 19:31 - 19:35
    machen. Dann haben wir vielleicht immer
    noch Probleme, die Systeme sind noch nicht
  • 19:35 - 19:40
    gut genug, und das ist wirklich auch
    gerade Stand der Forschung. Da wird viel
  • 19:40 - 19:45
    dran gemacht. Die werden aber auch wirk-
    lich jeden Monat besser. Da passiert so
  • 19:45 - 19:50
    viel in dem Bereich. Oder wir sagen, das
    reicht für Kunst immer noch nicht aus.
  • 19:50 - 19:52
    Und das wäre meine Meinung.
  • 19:52 - 19:56
    Also ich glaube, dass es zur richtigen
    Kunst dann immer noch etwas fehlt dabei.
  • 19:56 - 20:00
    Und da lehne ich mich
    jetzt aus dem Fenster. Ich glaube, Kunst
  • 20:00 - 20:04
    ist intentional, auch wenn das etwas ist,
    was viele Leute vielleicht so nicht teilen
  • 20:04 - 20:09
    werden. Ich glaube, es braucht eine
    Intention. Es geht darum, dass man mit
  • 20:09 - 20:15
    irgendwelchen handwerklichen Methoden, mit
    Malerei, Musik, Lyrik was auch immer,
  • 20:15 - 20:22
    versucht, irgendetwas auszudrücken, häufig
    Gefühle, können aber auch abstrakte
  • 20:22 - 20:27
    Gedanken sein. Und mir geht es jetzt gar
    nicht so darum, was der Künstler
  • 20:27 - 20:31
    eigentlich damit sagen will, also ob der
    Künstler sich gedacht hat, ich will jetzt
  • 20:31 - 20:39
    ein Gedicht über den Winter schreiben, und
    jeder andere liest darin ein Gedicht über
  • 20:39 - 20:42
    den Tod. Das ist mir eigentlich total
    egal. Ich glaube nicht, dass es um die
  • 20:42 - 20:46
    Intention des Künstlers geht, sondern ich
    glaube, dass es darum geht, dass das
  • 20:46 - 20:51
    Intentionale sich nachher in dem Kunstwerk
    zeigt. Ob das dann übereinstimmt mit dem,
  • 20:51 - 20:54
    was der Künstler gedacht hat, wissen wir
    sowieso nicht, weil wenn man die fragt,
  • 20:54 - 21:00
    lügen die meistens. Also ist es relativ
    irrelevant, was sich der Künstler gedacht
  • 21:00 - 21:06
    hat. Aber dieser Prozess, dass irgendetwas
    zielgerichtet gestaltet wird, das wäre
  • 21:06 - 21:11
    nochmal eine Negation des Zufalls. Wir
    hatten den Zufall als Negation des
  • 21:11 - 21:15
    Determinismus, aber eigentlich müssen wir
    jetzt auch noch einmal die Negation der
  • 21:15 - 21:19
    Negation da reinbringen. Und das wäre so
    etwas wie Intention, Wille.
  • 21:20 - 21:24
    Und da kann man sich jetzt fragen,
    gibt es das im Moment?
  • 21:24 - 21:26
    Momentan: Nein.
  • 21:26 - 21:29
    Aber kriegen wir das vielleicht in
    den Computer rein?
  • 21:30 - 21:34
    Schwierig. Gibt's keine Ansätze, die da
    wirklich vielversprechend sind.
  • 21:34 - 21:38
    In der Deep Learning Welt gibt's ein
    paar Leute, die glauben, wir
  • 21:38 - 21:41
    kriegen das hin, wenn wir
    einfach immer größere, tiefere neuronale
  • 21:41 - 21:47
    Netze bauen, die sich untereinander
    befruchten in einer Art und Weise. Das
  • 21:47 - 21:54
    halte ich für Unfug, weil es wird ja immer
    wieder das reproduziert, was man vorher
  • 21:54 - 21:58
    schon hatte. Man kommt da eigentlich gar
    nicht raus. Aber: wenn man sich jetzt mal
  • 21:58 - 22:03
    fragt, gerade im Bereich Kunst, was ist
    denn jetzt eigentlich das Intentionale
  • 22:03 - 22:07
    dabei? Das ist ja gar nicht so komplex,
    oder es muss nicht unbedingt komplex sein,
  • 22:07 - 22:13
    es kann komplex sein, muss es aber nicht.
    Ich glaube, wenn man Computer dazu kriegen
  • 22:13 - 22:17
    würde, und das ist halt das Projekt, an
    dem ich eigentlich dran bin, allerdings
  • 22:17 - 22:23
    mit meiner Firma, versuchen wir, den
    Bereich Strong AI -
  • 22:23 - 22:28
    Allgemeine Künstliche Intelligenz - da
    irgendwie einen Schritt weiterzukommen.
  • 22:28 - 22:30
    Die Idee ist, dass man das
  • 22:30 - 22:35
    vielleicht darüber hinkriegt, dass man den
    Computer dazu anleitet, zu widersprechen.
  • 22:36 - 22:42
    Der Widerspruch als die Grundform der
    Intention. Und dann müsste man noch
  • 22:42 - 22:47
    irgendwie dazu kommen, dass der Computer
    nicht nur widerspricht, sondern dass er
  • 22:47 - 22:52
    gleichzeitig versucht, die Gegensätze auf
    einer höheren Ebene wieder versöhnbar zu
  • 22:52 - 22:58
    machen. Und dann sind wir bei der
    Hegelschen Logik. Mein zweites
  • 22:58 - 23:01
    Lieblingsfeld - könnte ich jetzt den
    ganzen Tag drüber reden, mach ich aber
  • 23:01 - 23:06
    nicht. Die Idee, da, ich mach's ganz kurz,
    wäre, dass man sagt, dass man eine Logik
  • 23:06 - 23:11
    hat, die wirklich nicht binär ist, sondern
    die versucht, Widersprüche denkbar zu
  • 23:11 - 23:15
    machen. Das ist, glaube ich, viel, viel
    näher an dem dran, wie unser tatsächliches
  • 23:15 - 23:20
    Denken geht. Man kann es in drei ziemlich
    platten Sachen zusammenfassen. Das erste
  • 23:20 - 23:26
    ist omnis determinatio est negatio. Das
    heißt, alles, was bestimmt ist, ist eine
  • 23:26 - 23:33
    Negation. Eine erste Grundthese, dass
    immer, wenn ich über irgendetwas rede, was
  • 23:33 - 23:39
    es ist, sage ich immer, was es nicht ist.
    Zweite Grundthese wäre, die zwei Momente
  • 23:39 - 23:45
    der Identität, die zwei Momente des
    Unterschieds sind die Identität und der
  • 23:45 - 23:49
    Unterschied. Und da merkt man schon, wenn
    man sich das jetzt computermäßig
  • 23:49 - 23:53
    durchdenkt, komme ich da in eine rekursive
    Schleife rein. Und das wird dann in einem
  • 23:53 - 23:58
    dritten Punkt noch einmal bestätigt. Die
    Reflektion ist die Bewegung von nichts zu
  • 23:58 - 24:02
    nichts und dadurch zu sich selbst zurück.
    Und ich glaube, dass das genau auch der
  • 24:02 - 24:07
    Weg ist, wie wir das hinkriegen können.
    Dass Computer auch wirklich schon bald -
  • 24:07 - 24:12
    nicht erst irgendwie in 50 Jahren oder so
    was, wirklich eigenständig Kunst
  • 24:12 - 24:18
    produzieren, weil sie sich von dem, was
    sie gelernt haben, trennen, dadurch, dass
  • 24:18 - 24:22
    sie versuchen, das zu negieren. Das was
    sie selber gelernt haben über Deep
  • 24:22 - 24:27
    Learning. Deep Learning ist total wichtig
    dabei, weil ansonsten sind es einfach nur
  • 24:27 - 24:31
    Zahlen. Also erst durch Deep Learning kann
    ich das überhaupt erst strukturieren, kann
  • 24:31 - 24:35
    da Muster drin finden. Das ist ja etwas,
    was wir Menschen auch machen. Also Deep
  • 24:35 - 24:41
    Learning wird man brauchen, aber dann muss
    das Gelernte negiert werden und diese
  • 24:41 - 24:46
    Negation umgeformt werden in etwas Neues,
    in die Negation der Negation. Und wie das
  • 24:47 - 24:53
    genau gehen kann, ist ein ziemlich
    schwieriges Konzept, aber.
  • 24:53 - 24:58
    Ja, das war so in etwa das, was ich,
    was ich euch heute sagen wollte.
  • 24:58 - 25:00
    Mal sehen, ob ich noch etwas
    vergessen habe.
  • 25:00 - 25:05
    Eigentlich können wir von
    mir aus gerne jetzt schon in die
  • 25:05 - 25:09
    Diskussion einsteigen und gucken, ob euch
    das irgendwie inspiriert hat oder ob ihr
  • 25:09 - 25:12
    findet, das war alles totaler Unfug.
  • 25:12 - 25:21
    Applaus
  • 25:21 - 25:25
    Herald: Ja, wunderbar, dann haben wir viel
    Zeit zum Diskutieren und ich sehe, hier
  • 25:25 - 25:28
    gehts auch schon los, an Mikrofon 2.
    Bitte!
  • 25:28 - 25:32
    Mikro 2: Hallo! Danke für den
    inspirierenden Talk. War sehr schön. Du
  • 25:32 - 25:37
    hast sehr schön durchgeleitet durch die
    Diskussion über Kunst und KI. Ich fand es
  • 25:37 - 25:43
    auch sehr gut, dass du nicht sofort
    Stellung bezogen hast. Was ich aber
  • 25:43 - 25:48
    trotzdem glaube ist, dass es ein Irrweg
    ist zu glauben, dass man sozusagen in der
  • 25:48 - 25:53
    Intention oder in dem, was das
    kunstproduzierende Wesen in sich trägt,
  • 25:53 - 25:58
    sozusagen dann festmachen kann, ob es
    Kunst ist. Wenn ich eine Banane an die
  • 25:58 - 26:03
    Wand klebe, dann kann ich noch so viel
    Intention haben zu widersprechen. Das ist
  • 26:03 - 26:09
    keine Kunst. Wenn ich es aber auf der Art
    Basel mache, dann wird es Kunst. Und ich
  • 26:09 - 26:14
    denke, das versteht man auch gut mit der
    Unterscheidung zwischen System und Umwelt,
  • 26:14 - 26:19
    dass man sagt Kunst ist ein soziales
    System. Und was dieses Kunstsystem als
  • 26:19 - 26:26
    Kunst akzeptiert und aufnimmt, und das ist
    natürlich auch sehr flüssig, das wird
  • 26:26 - 26:33
    ständig neu verhandelt. Also, was vor 30,
    40 Jahren Kunst war, ist heute nicht mehr
  • 26:33 - 26:39
    Kunst und umgekehrt. Ich glaube, das
    bringt uns näher an ein Verständnis ran,
  • 26:39 - 26:43
    was Kunst ist, wenn man diese Frage
    überhaupt beantworten möchte.
  • 26:43 - 26:54
    Simon: Ja, danke! Erst mal glaube ich, das
    hatte ich ganz am Anfang schon versucht
  • 26:54 - 26:59
    anzudeuten, ich glaube, das das sowieso
    auch eine falsche Idee wäre zu sagen, wir
  • 26:59 - 27:05
    wollen jetzt einen widerspruchsfreien
    Kunstbegriff als Erstes und an dem messen
  • 27:05 - 27:10
    wir dann alles. Weil wie du richtig gesagt
    hast, das verändert sich ja auch. Und auch
  • 27:10 - 27:16
    das ist so eine Grundthese bei Hegel, dass
    Hegel sagt: Es ist unsere falsche
  • 27:16 - 27:21
    Zärtlichkeit den Dingen gegenüber, dass
    wir deren Widersprüche immer uns anlasten
  • 27:21 - 27:25
    und nicht ihnen, weil die Dinge in
    Wirklichkeit widersprüchlich sind und
  • 27:25 - 27:28
    Kunst ist natürlich, was total
    widersprüchliches. Auf der anderen Seite
  • 27:28 - 27:33
    gerade das Beispiel mit "die Banane an die
    Wand tackern" - was ist denn eigentlich
  • 27:33 - 27:38
    die Intention dabei gewesen? Da kommt eine
    Schwierigkeit rein in der Debatte. Wir
  • 27:38 - 27:43
    haben ja gerade in der modernen Kunst eine
    Intention, die vom Inhalt her darauf geht,
  • 27:43 - 27:49
    ich möchte eigentlich zeigen, dass die
    Kunst als Ganze an ihre Grenzen gestoßen
  • 27:49 - 27:53
    ist. Das heißt also, ich habe schon eine
    sehr widersprüchliche Intention. Deshalb
  • 27:53 - 27:57
    funktioniert es aber auch nur, wenn ich
    das auf der Art Basel mache und nicht,
  • 27:57 - 28:00
    wenn ich das bei mir zu Hause mache. Da
    fehlt, wie du sagst, der soziale
  • 28:00 - 28:06
    Resonanzraum dabei. So, aber an dem
    Beispiel ist es ja trotzdem schön zu
  • 28:06 - 28:11
    sehen, dass sich auch die Gelehrten und
    die Kritiker und so etwas sehr uneinig
  • 28:11 - 28:14
    sind darüber, ob das jetzt Kunst ist oder
    nicht. Und woran entscheidet sich das
  • 28:14 - 28:19
    dann? Nämlich eigentlich an der Frage, ob
    man diese Intention, diesen sehr
  • 28:19 - 28:25
    abstrakten Gedanken "Ich zeige
    selbstironisch, dass alles Kunst sein
  • 28:25 - 28:30
    kann, wenn es nur im richtigen Raum ist"
    (oder irgendwie sowas wird es ja
  • 28:30 - 28:32
    vermutlich gewesen sein), wenn ich den
    mitgehe, dann kann ich sagen, das ist
  • 28:32 - 28:36
    Kunst. Ich kann aber auch sagen "ach, komm
    Leute, das ist aber doch auch schon
  • 28:36 - 28:43
    tausend Mal gesehen..". Nur dann würde ich
    auch wieder sagen, wenn es schon so
  • 28:43 - 28:48
    schwierig ist, bei dem was, was unsereins
    sich so ausdenkt, also wir Menschlein,
  • 28:48 - 28:54
    festzustellen, ob das Kunst ist oder
    nicht, dann ist der Anspruch, der an
  • 28:54 - 29:01
    Computer angelegt wird, zu sagen, da muss
    man jetzt aber eindeutig entscheiden
  • 29:01 - 29:04
    können, ob das Kunst ist oder nicht,
    natürlich auch sehr, sehr schwierig. Einen
  • 29:04 - 29:08
    wichtigen Punkt, gerade noch, weil ich den
    vorhin vergessen hatte.. Eigentlich habe
  • 29:08 - 29:14
    ich mein ganzes Fazit vergessen, was ich
    eigentlich noch sagen wollte. Jetzt geht
  • 29:14 - 29:19
    den Gedanken mal mit: Stellt euch mal vor,
    stellt euch mal vor, wir haben jetzt
  • 29:19 - 29:24
    Computer, die Kunst schaffen, was auch
    immer das ist. Mal angenommen, wir hätten
  • 29:24 - 29:30
    uns darauf geeinigt, was Kunst wäre und ab
    wann man dem Computer das zugesteht, dass
  • 29:30 - 29:34
    er Kunst schafft. Und jetzt stellt euch
    vor, wir haben einen solchen Computer,
  • 29:34 - 29:42
    tatsächlich, der Kunst schafft. Dann haben
    wir plötzlich, sind wir in einem neuen
  • 29:42 - 29:48
    Zeitalter, weil dann etwas, was wir mehr
    oder weniger exklusiv, klar, gibt
  • 29:48 - 29:53
    Diskussionen: Schimpansen machen die
    Kunst, können die Kunst machen oder sowas,
  • 29:53 - 29:56
    aber wir sind bei etwas, was mehr oder
    weniger exklusiv den Menschen vorbehalten
  • 29:56 - 30:02
    ist und wo wir ganz sicher in den nächsten
    Jahren aber in eine Situation kommen
  • 30:02 - 30:07
    werden, wo wir uns fragen müssen, ob nicht
    eigentlich Computer inzwischen kognitive
  • 30:07 - 30:13
    Fähigkeiten haben, die bislang exklusiv
    beim Menschen gelegen haben und wo wir
  • 30:13 - 30:16
    auch unseren kompletten Umgang mit
    Computern eventuell neu überdenken müssen.
  • 30:16 - 30:20
    Und das meine ich jetzt gerade nicht in
    die Richtung Terminator Szenario, sondern
  • 30:20 - 30:25
    genau umgekehrt. Wie schützen wir
    eigentlich künstlerisch schaffende
  • 30:25 - 30:33
    Computer vor den Menschen?
    Herald: Ja, vielen Dank, ich habe gesehen,
  • 30:33 - 30:36
    wir haben auch Fragen aus dem Stream. Aber
    ihr steht schon so lange, deswegen machen
  • 30:36 - 30:38
    wir erst mal Mikrofon 1.
    Simon: Tut mir leid, ich antworte jetzt
  • 30:38 - 30:41
    kürzer.
    Herald: Ne, das sollte jetzt nicht an dich
  • 30:41 - 30:45
    gehen. Mikrofon 1, bitte.
    Mikro 1: Ja, hey. Ein Satz erstmal, ich
  • 30:45 - 30:54
    komme aus der Medienkunst, und ich denke,
    es ist eine ziemlich steile These, dass
  • 30:54 - 30:57
    Menschen die Kunst studiert haben,
    irgendwas malen können. Applaus Ich bin
  • 30:57 - 30:59
    schon ziemlich lang in der Kunst, ich
    hatte noch nie nen Pinsel in der Hand.
  • 30:59 - 31:03
    Aber davon abgesehen, es gibt ja extrem
    viele Menschen, die machen heute diese
  • 31:03 - 31:05
    Kunst, die eigentlich gar keine Kunst mehr
    sein dürfte, nach irgendwelchen
  • 31:05 - 31:08
    Definitionen von [unverständlich]. Also
    Menschen, die heutzutage Flachware
  • 31:08 - 31:12
    produzieren, können es ja super verkaufen.
    Und eigentlich dürfte es ja gar keine
  • 31:12 - 31:14
    Kunst mehr sein, wir würden der AI das
    abschreiben, dass es Kunst ist, wenn sie
  • 31:14 - 31:17
    es machen würden. Und deswegen ist meine
    Frage, Kunst ist ja eigentlich ne soziale
  • 31:17 - 31:20
    Praxis. Das heißt einerseits soziale
    Praxis sowieso, verkaufen und kaufen, aber
  • 31:20 - 31:23
    es ist hauptsächlich eine soziale Praxis,
    weil ich auf Vernissagen rumhänge und Bier
  • 31:23 - 31:28
    trinke. Wie soll AI Kunst machen, ohne auf
    Vernissagen rumhängen zu können und Bier
  • 31:28 - 31:40
    zu trinken? Simon: Das Rumhängen kriegen
    wir glaub ich hin und das Diskutieren auch
  • 31:40 - 31:46
    irgendwann, das mit dem Bier trinken? Na
    gut, aber klar. Kunst ist ein soziales
  • 31:46 - 31:50
    Phänomen, und das heißt, es findet in
    einem sozialen Kontext statt. Und jetzt
  • 31:50 - 31:53
    kann ich mich auf den Standpunkt stellen,
    dass ich sage, Kunst gibt es nicht
  • 31:53 - 31:57
    getrennt von diesem sozialen Phänomen und
    nur wenn ich das komplette soziale Umfeld
  • 31:57 - 32:01
    reproduzieren kann, dann wäre es auch
    Kunst. Ich könnte mir aber jetzt zum
  • 32:01 - 32:06
    Beispiel vorstellen, dass ich Vernissagen
    habe, wo Computer mit Computern rumhängen
  • 32:06 - 32:10
    und vielleicht kein Bier trinken, sondern
    Strom konsumieren oder sonst irgendwas,
  • 32:10 - 32:13
    was dann auch sehr spannend wird, wenn wir
    uns vorstellen, dass es vielleicht Kunst
  • 32:13 - 32:17
    gibt, die gar nicht für Menschen gemacht
    wurde, sondern für Computer von Computern.
  • 32:17 - 32:26
    Ja, aber generell kann ich nur sagen: Ja,
    genau. Du hast völlig recht. Das sind halt
  • 32:26 - 32:30
    die Widersprüche darin. Wir glauben immer,
    es gäbe diesen festen Kunstbegriff und
  • 32:30 - 32:36
    messen daran das, was KI macht. Aber
    selbstverständlich ist das, was du, was du
  • 32:36 - 32:40
    ansprichst, ist ja eigentlich schon wahr.
    Es ist ja schon so, dass KI Kunst bei
  • 32:40 - 32:48
    Sotheby's verkauft wird und sonst was. Ich
    find's eigentlich unbefriedigend auf diese
  • 32:48 - 32:53
    elitären Kunstbegriffe zu schauen und zu
    sagen Kunst ist, was am Markt funktioniert
  • 32:53 - 33:01
    oder wo es eine Vernissage gibt. Aber dein
    Punkt ist richtig, leuchtet mir ein.
  • 33:01 - 33:06
    Herald: Mal eine Frage von der zwei und
    dann fragen wir den Stream. Hier das
  • 33:06 - 33:10
    mittlere Mikro genau.
    Mikro 2: Ja, erst mal Danke für deinen
  • 33:10 - 33:15
    Vortrag. Ich habe auch Kunst studiert, und
    ich muss sagen, ich habe durchgängig die
  • 33:15 - 33:17
    Hände überm Kopf zusammengeschlagen
    während deines Vortrags.
  • 33:17 - 33:25
    Simon: Ich hab keine Kunst studiert.
    Mikro 2: Erstmal will ich ne kleine Kritik
  • 33:25 - 33:28
    geben und dann dann eine Frage daraus
    formulieren. Erstens gibt's nicht mehr die
  • 33:28 - 33:33
    Kunst, sondern es gibt die Künste. Das ist
    unglaublich weit gespreadet. Und weiterhin
  • 33:33 - 33:37
    mit einem vereinheitlichten Kunstbegriff
    zu arbeiten, macht überhaupt keinen Sinn.
  • 33:37 - 33:44
    Worauf ich mich frage, Wieso, wenn man in
    diesem Feld forscht oder das
  • 33:44 - 33:49
    zusammenbringen möchte.. Ich meine, sie
    haben ja auch Picasso gebracht. Und Hegel?
  • 33:49 - 33:55
    Ich meine, mein Gott, Hegel ist über 250
    Jahre alt. Wie kann man im 21. Jahrhundert
  • 33:55 - 33:59
    ein Forschungsfeld auf einem
    philosophischen System von Hegel aufbauen?
  • 33:59 - 34:03
    Oder das mit seiner Theorie füttern? Es
    gibt.. Also dann bitte wenigstens Bruno
  • 34:03 - 34:07
    Latour.. Also irgendwas aus dem 20., 21.
    Jahrhundert nehmen, aber nicht aus dem
  • 34:07 - 34:09
    achtzehnten.
    Simon: Warum?
  • 34:09 - 34:13
    Mikro 2: Weil, weil dieses System von
    Hegel. Das ist eine philosophische Frage.
  • 34:13 - 34:20
    Aber selbst das hat nur funktioniert, weil
    es wahnsinnig ausschließend war. Aber ich
  • 34:20 - 34:28
    frage mich so ein bisschen, ja, mit
    welchem Kunstbegriff arbeiten Sie, wenn
  • 34:28 - 34:32
    Sie sozusagen in diesem Feld forschen?
    Also sozusagen, gehen Sie jetzt von so
  • 34:32 - 34:38
    klassischen künstlerischen Bereichen aus,
    oder nehmen Sie auch neuere künstlerische
  • 34:38 - 34:45
    Phänomene, neuere, die auch schon 80 Jahre
    alt sind oder älter? Also sozusagen.. was
  • 34:45 - 34:49
    wird da eingespeist, um zur KI Kunst zu
    kommen?
  • 34:49 - 34:56
    Simon: Ja, vielen Dank, aber da muss ich
    leider widersprechen, gerade wenn ich
  • 34:56 - 35:00
    sage, es gibt nicht den Kunstbegriff,
    sondern es gibt viele Künste. Dann
  • 35:00 - 35:03
    unterstelle ich damit ja, dass diese
    Künste alle irgendwie etwas gemeinsam
  • 35:03 - 35:08
    haben, was sie als Kunst macht. Ich komme
    aus dem, was ist Kunst? Aus der Frage gar
  • 35:08 - 35:13
    nicht aus. Dadurch, dass ich sage Kunst
    ist eine Vielzahl von Sachen, weil ich
  • 35:13 - 35:17
    sage ja, jedes einzelne dieser "Kunst" hat
    an sich das, was Kunst irgendwie macht.
  • 35:17 - 35:22
    Dass wir diesen Begriff nicht bestimmen
    können, habe ich glaub ich, vorhin ja auch
  • 35:22 - 35:25
    schon gesagt. Das liegt aber eben auch
    daran, dass es ein in sich
  • 35:25 - 35:29
    widersprüchlicher Begriff ist, der auch
    nicht konstant ist, dass ist keine
  • 35:29 - 35:33
    absolute Wahrheit. Die Kunst, die es gibt.
    Mir ging es halt gerade darum, das
  • 35:33 - 35:37
    eigentlich deutlich zu machen und zu
    zeigen, dass wir, wenn wir über KI Kunst
  • 35:37 - 35:42
    reden, dann plötzlich mit ganz harten
    Maßstäben rangehen, die wir ansonsten bei
  • 35:42 - 35:46
    einem Kunstbegriff nie gelten lassen
    würden. Und das mit Hegel. Das ist halt
  • 35:46 - 35:52
    einfach... es hat einen meiner Meinung
    nach, aber da stehe ich ziemlich alleine
  • 35:52 - 35:55
    da, ich bin ein Outsider in dieser Frage,
    es hat meiner Meinung nach einen
  • 35:55 - 35:59
    philosophischen Umbruch gegeben, der mit
    Kant angefangen hat und der unser
  • 35:59 - 36:03
    komplettes wissenschaftliches Weltbild,
    was wir heute als das wissenschaftliche
  • 36:03 - 36:06
    Weltbild kennen, eigentlich damals schon
    in Frage gestellt hat, was noch gar nicht
  • 36:06 - 36:15
    richtig einbezogen wurde. Es gab die
    Versuche, 1980 Gotthard Günther in den USA
  • 36:15 - 36:19
    das in den Bereich der KI reinzubringen,
    und ich glaube, dass das sehr, sehr
  • 36:19 - 36:24
    fruchtbar ist. Aber es ist ein Rogue
    Ansatz, den außer mir niemand groß
  • 36:24 - 36:28
    verfolgt, und ich freue mich auch, wenn
    andere Leute etwas anderes machen.
  • 36:28 - 36:31
    Vielleicht lass ich es auch einfach.
    Herald: Dann hätte ich jetzt gerne einmal
  • 36:31 - 36:41
    den Signal-Angel, die Fragen aus dem
    Stream. Das Mikro geht nicht.
  • 36:41 - 36:47
    Signal Angel: Test, Test? Ja, der Stream
    hat mal eine kürzere Frage, wo es einfach
  • 36:47 - 36:52
    heißt Kannst du bitte was zur KI bei der
    Erzeugung von Musik sagen? Und da den
  • 36:52 - 36:54
    aktuellen Stand der Dinge mal so ein
    bisschen zusammenfassen?
  • 36:54 - 37:00
    Simon: Das geht ganz schnell. Das sind
    eigentlich die gleichen Algorithmen wie
  • 37:00 - 37:05
    vorher. Das meiste, was momentan gemacht
    wird bei der Erzeugung von Musik, ist,
  • 37:05 - 37:09
    dass ich midi-Dateien nehme. Dann hab ich
    die schon codiert und dann kann ich die
  • 37:09 - 37:13
    midi-Dateien im Prinzip behandeln wie
    Texte oder wie Bilddateien und kann genau
  • 37:13 - 37:19
    die gleichen Algorithmen da drauf
    schmeißen. Ich habe es ausprobiert. Klingt
  • 37:19 - 37:22
    sehr random. Ich habe es aber auch auf
    allen Yes-Platten trainiert. War
  • 37:22 - 37:26
    vielleicht auch nicht so klug.
    Herald: Dann bitte Mikro 2 in der Mitte
  • 37:26 - 37:28
    nochmal.
    Mikro 2: Vielen Dank für die interessante
  • 37:28 - 37:36
    Einführung. Ich hätte auch noch einen
    Kommentar und zwar finde ich, dass die
  • 37:36 - 37:41
    Kunst einfach dazu da ist, um uns selbst
    zu befreien. Und deshalb finde ich diese
  • 37:41 - 37:47
    externen Autoritäten, die du da vielleicht
    auch mit einspielen möchtest in die KI -
  • 37:47 - 37:55
    du, du wolltest ja damit spielen. Die
    haben da nichts zu suchen, also jegliche
  • 37:55 - 37:58
    Form von Autorität, hat in der Kunst
    meiner Meinung nach nichts zu suchen. Und
  • 37:58 - 38:05
    weil alles, alles, was passiert ist, und
    alles, was nicht passiert, ist eben
  • 38:05 - 38:11
    relevant für Kunst gewesen. Und ich finde
    es auch schwierig, sich nur darauf zu..
  • 38:11 - 38:18
    oder nur darauf zu schauen, ob letztlich
    was produziert werden kann, weil darum
  • 38:18 - 38:23
    gehts irgendwie gar nicht. Es geht darum,
    dass es eine Intention gibt, aber eben
  • 38:23 - 38:29
    auch eine Intensität gibt. Und das ist das
    eigentlich Relevante. Würde ich sagen.
  • 38:29 - 38:34
    Simon: Würde ich dir einfach total recht
    geben. Also, das, .. ich glaube, es wäre
  • 38:34 - 38:38
    total super, wenn wir es hinkriegen
    würden... mit produzieren meine ich jetzt
  • 38:38 - 38:42
    nicht unbedingt als Ware produzieren oder
    sowas, sondern ich meine, wenn wir es
  • 38:42 - 38:45
    hinkriegen würden, dass Computer was
    machen, was bei uns tatsächlich was
  • 38:45 - 38:50
    bewegt. So. Aber dann hängen halt andere
    Fragen dran, bewegt es, wenn Computer das
  • 38:50 - 38:54
    tatsächlich können, bewegt es vielleicht
    bei den Computern auch was? Man ist da
  • 38:54 - 38:58
    schon... Also es gibt da nochmal eine
    Meta-Ebene dazu. Aber alles, was du gesagt
  • 38:58 - 39:01
    hast, finde ich total richtig.
    Herald: Machen wir weiter mit Mikro 2.
  • 39:01 - 39:07
    Mikro 2: Also, ich würde gern zwei Punkte
    ansprechen. Einmal finde ich.. In dem
  • 39:07 - 39:11
    Zusammenhang könnte man nochmal auf die
    Debatte um die Frage, ob Fotografie
  • 39:11 - 39:15
    eigentlich Kunst ist, sicherlich nochmal
    eingehen. Weil vieles, was wir jetzt auf
  • 39:15 - 39:19
    dem Bildschirm z.B. gesehen haben, könnte
    man eigentlich so als
  • 39:19 - 39:22
    Informationsverarbeitung sehen? Im Prinzip
    das, was eine Kamera auch macht.
  • 39:22 - 39:25
    Simon: Ist es auch, ja.
    Mikro 2: Und die Entwicklung davon - wann
  • 39:25 - 39:29
    wurde Fotografie als Kunst anerkannt und
    warum überhaupt? Und der zweite Punkt ist
  • 39:29 - 39:34
    mir gerade entfallen.
    Simon: Ja, auch das zeigt ja wieder, was
  • 39:34 - 39:40
    Kunst ist, das verändert sich historisch.
    Und ich glaube, wenn ich einen
  • 39:40 - 39:43
    philosophischen Gedanken dazu sagen darf.
    Es gibt ja diese Schrift, "Das Kunstwerk
  • 39:43 - 39:47
    im Zeitalter seiner technischen
    Reproduzierbarkeit", wo es auch sehr viel
  • 39:47 - 39:51
    um die Fotografie geht. Ich glaube, dass
    wir halt jetzt eben noch einen Schritt
  • 39:51 - 39:53
    weiter sind, dass wir jetzt eigentlich
    über das Kunstwerk im Zeitalter seiner
  • 39:53 - 39:57
    technischen Produzierbarkeit nachdenken
    müssen. Aber auch das wird nicht dazu
  • 39:57 - 40:00
    führen, dass jetzt alles plötzlich nicht
    mehr, nicht mehr gilt und nichts mehr
  • 40:00 - 40:05
    Kunst ist und alles nur noch Scheiße.
    Irgendwas wird passieren, das verändert
  • 40:05 - 40:12
    sich da gerade sehr viel und der Talk
    heute ist eigentlich genau dafür da, um
  • 40:12 - 40:16
    dafür ein bisschen zu sensibilisieren und
    darüber nachzudenken, was da eigentlich
  • 40:16 - 40:18
    passiert, weil die Antworten habe ich ja
    gar nicht.
  • 40:18 - 40:23
    Herald: Wir haben noch Fragen vom Signal
    Angel, aber wir machen ja, ihr steht so
  • 40:23 - 40:26
    geduldig, deswegen machen wir weiter mit 2
    erstmal.
  • 40:26 - 40:30
    Mikro 2: Genau, der Mensch kann stehen und
    Signal nicht. In der Frage sozusagen, was
  • 40:30 - 40:36
    ist Kunst, worum sich das immer dreht,
    habe ich mich jetzt gefragt, ob eben die
  • 40:36 - 40:40
    KI oder der Computer die Antwort geben
    kann.
  • 40:40 - 40:47
    Simon: Ja, ja, das ist halt genau der
    Punkt. Wenn wir, wenn wir auf der einen
  • 40:47 - 40:52
    Seite einen harten Kunstbegriff haben,
    also wie ich es versucht hatte so
  • 40:52 - 40:57
    einzuleiten, dass wir halt sagen, rein,
    die reine Simulation, das reicht uns nicht
  • 40:57 - 41:03
    aus. Wir wollen, dass da irgendwie was
    drin ist, was wir eigentlich dem Menschen
  • 41:03 - 41:09
    zuschreiben. Kreativität oder Intention
    oder keine Ahnung, wie man das dann
  • 41:09 - 41:13
    tatsächlich fasst. Wenn wir dann aber
    davon ausgehen, dass es Computer gibt, die
  • 41:13 - 41:19
    sowas hinbekommen, dann können die, und
    das ist jetzt die Antwort auf die Frage,
  • 41:19 - 41:20
    dann können die vielleicht auch darüber
    nachdenken.
  • 41:20 - 41:24
    Mikro 2: Ja, aber macht es uns vielleicht
    zum Menschen, dass wir erkennen, dass eine
  • 41:24 - 41:27
    angetapte Banane Kunst sein kann?
    Simon: Ja, aber wenn ein Computer das
  • 41:27 - 41:29
    erkennen könnte...
    Mikro 2: Und nicht, dass wir die Banane
  • 41:29 - 41:31
    ankleben können?
    Simon: Ja, ist schon klar. Genau das,
  • 41:31 - 41:35
    genau das meine ich auch. Wenn wir uns
    vorstellen, das ist ein
  • 41:35 - 41:39
    Gedankenexperiment, weil ich sage, es gibt
    im Moment keine Computer, die wirklich
  • 41:39 - 41:42
    Kunst machen. Aber wenn wir uns
    vorstellen, dass es Computer gäbe, die
  • 41:42 - 41:46
    Kunst machen könnten, dann können wir uns
    auch vorstellen, dass es Computer gäbe,
  • 41:46 - 41:51
    die Kunst verstehen können. Und dann sind
    wir halt plötzlich in genau der Frage, was
  • 41:51 - 41:57
    macht uns denn eigentlich als menschliche
    Lebewesen aus in einem Bereich, wo wir
  • 41:57 - 42:00
    sagen müssen, sind da nicht eventuell
    plötzlich fundamentale Grundsachen des
  • 42:00 - 42:08
    menschlichen Daseins auf ein technisches
    Artefakt übergegangen? Und was heisst das?
  • 42:08 - 42:11
    Und reden da wir nicht eigentlich über das
    Zeitalter des Transhumanismus?
  • 42:11 - 42:16
    Mikro 2: Könnte der Computer dann
    vielleicht etwas als Kunst definieren, das
  • 42:16 - 42:19
    uns selbst verborgen bleibt?
    Simon: Ich könnte mir tatsächlich solche
  • 42:19 - 42:23
    Szenarien vorstellen, wo Computer Kunst
    für Computer produzieren, die wir
  • 42:23 - 42:27
    überhaupt nicht mehr verstehen können.
    Herald: Und wir stehen nur noch staunend
  • 42:27 - 42:33
    daneben und müssen das über uns ergehen
    lassen. Machen wir mit 2 weiter.
  • 42:33 - 42:38
    Mikro 2: Genau, einmal noch die Frage,
    gibt es oder gibt es deiner Meinung nach
  • 42:38 - 42:45
    überhaupt die Möglichkeit, dass man sagt,
    die Kunst ist jetzt von der KI, weil
  • 42:45 - 42:52
    eigentlich spielt ja eigentlich auch alles
    mit ein, wer am Ende die KI geschrieben
  • 42:52 - 42:55
    hat, kann man auch gleich wieder auf
    Hegels Weltgeist beziehen, das ist jede
  • 42:55 - 43:00
    Kleinigkeit eigentlich am Ende auf das
    Endprodukt einspielt.
  • 43:00 - 43:05
    Simon: Die Frage nach der Urheberschaft.
    Das ist etwas, was man momentan rechtlich
  • 43:05 - 43:10
    zum Beispiel behandelt wird. Und was sich
    ja, was sich anschliesst, einfach. Also,
  • 43:10 - 43:18
    wenn es einen Urheber gibt, wird es
    sicherlich ein Kollektiv sein. Weil dann
  • 43:18 - 43:22
    müsste man ja sagen, wer hat denn
    eigentlich an der Entwicklung der
  • 43:22 - 43:28
    Algorithmen mitgearbeitet? Das meiste
    davon ist Open Source. Das sind große
  • 43:28 - 43:32
    Entwickler-Communities, die das machen.
    Die großen Internetfirmen spielen da eine
  • 43:32 - 43:38
    große Rolle. Facebook, Google, Baidu, die
    treiben diese Entwicklung voran. Dann ist
  • 43:38 - 43:42
    aber hier immer noch die Frage, wer die
    Daten zur Verfügung gestellt oder ist
  • 43:42 - 43:47
    vielleicht in diesem Sotheby-Beispiel, wo
    dann KI-Kunst versteigert wurde, gab es
  • 43:47 - 43:51
    auch jemanden, der gesagt hat, mir kommt
    es so vor, als hättet ihr der KI einfach
  • 43:51 - 43:55
    alle meine Bilder gegeben und die hat
    daraus jetzt was Neues gemacht. Eigentlich
  • 43:55 - 44:01
    bin ich der Maler, also die Urheber-Frage
    ist einerseits philosophisch sehr, sehr
  • 44:01 - 44:05
    schwierig, wird vermutlich dann aber
    irgendwie plump rechtlich behandelt
  • 44:05 - 44:10
    werden. Und im Moment gibt's den Fall,
    geht's um Patente, es gibt Patente in den
  • 44:10 - 44:16
    USA, die bewilligt sind, die von einer KI
    geschrieben wurden. Und da stellt sich
  • 44:16 - 44:19
    jetzt die Frage, wer ist eigentlich der
    Erfinder? Aber meistens werden diese
  • 44:19 - 44:25
    Sachen dann halt irgendwie rechtlich
    rechtlich bearbeitet, damit es gut ist für
  • 44:25 - 44:29
    die Wirtschaft und dann geht es weiter.
    Aber philosophisch ist das eine total
  • 44:29 - 44:31
    spannende Frage.
    Herald: Jetzt noch einmal mein Signal
  • 44:31 - 44:37
    Angel, was haben wir noch aus den sozialen Medien?
    Signal Angel: Ja, und noch eine
  • 44:37 - 44:42
    Frage via Twitter. Hast du Tipps, wie man
    als AI-Neuling in das Thema Kunst mit AI
  • 44:42 - 44:45
    machen einsteigen kann?
    Simon: Ja, weil wenn man das, was momentan
  • 44:45 - 44:53
    richtig spannend ist meiner Meinung nach
    sind halt diese deep learning Geschichten.
  • 44:53 - 44:59
    Und deep learning ist wirklich eine recht
    offene Community, die gleichzeitig aber,
  • 44:59 - 45:03
    wie gesagt, von den großen
    Internetkonzernen aus anderen Interessen
  • 45:03 - 45:09
    genommen wird. Wir haben PyTorch als
    Entwicklerumgebung oder TensorFlow. Wenn
  • 45:09 - 45:15
    wir TensorFlow nehmen, das ist unter dem
    Dach von Google. Und auf der TensorFlow
  • 45:15 - 45:21
    Seite gibt es sehr schöne Tutorials, wie
    man generative Modelle in TensorFlow bauen
  • 45:21 - 45:26
    kann. Aber momentan ist es noch so, dass,
    wenn man da richtig einsteigen will, dass
  • 45:26 - 45:29
    es tatsächlich auch ein Stück weit
    programmiertechnische Kenntnisse
  • 45:29 - 45:33
    erfordert, das umzusetzen.
    Herald: Ok, machen wir weiter mit 2 in der
  • 45:33 - 45:36
    Mitte.
    Mikro 2: Du bist an einer Stelle davon
  • 45:36 - 45:42
    ausgegangen, dass KI bloss Muster erkennt,
    aber der Mensch was Neues erschaffen kann.
  • 45:42 - 45:47
    Da stelle ich mir die Frage, was macht
    denn unser Hirn anderes, ausser in sehr,
  • 45:47 - 45:52
    sehr viel komplexer als die KI natürlich,
    was machen wir denn anderes, als einfach
  • 45:52 - 45:56
    Muster aus der Umwelt aufzunehmen und die
    neu zusammenzusetzen? Aber im Prinzip ist
  • 45:56 - 46:01
    das ja auch nichts Neues.
    Simon: Das ist eine ganz große Frage immer
  • 46:01 - 46:05
    noch in der Kognitionswissenschaft, ob wir
    was anderes machen oder nicht. Legst du
  • 46:05 - 46:10
    auch wieder den Finger auf eine
    Sollbruchstelle, sozusagen, in meiner
  • 46:10 - 46:13
    Argumentation. Ich glaube, dass wir etwas
    anderes machen, als einfach nur Muster
  • 46:13 - 46:17
    erkennen. Es gibt aber viele Forscher, die
    sagen würden, nein. Es gibt auch viele,
  • 46:17 - 46:21
    die sagen, es gibt keinen freien Willen
    und es gibt gar keine Kreativität, sondern
  • 46:21 - 46:26
    das ist einfach nur Neuronenfeuer, was bei
    uns im Gehirn funktioniert. Wenn ich davon
  • 46:26 - 46:31
    ausgehe, kann ich natürlich der deep
    learning Community folgen und sagen, okay,
  • 46:31 - 46:35
    dann mache ich jetzt halt die Netze immer
    tiefer und noch tiefer und noch tiefer und
  • 46:35 - 46:39
    noch tiefer. Und dann gibts irgendwann den
    kreativen Funken, auch wenn ich ihn nicht
  • 46:39 - 46:43
    mehr verstehe, der dann da reinkommt. Ich
    glaube aber, dass wir etwas anders machen.
  • 46:43 - 46:47
    Ich glaube schon, dass wir nicht nur
    Muster erkennen, sondern dass wir halt
  • 46:47 - 46:51
    eben Widersprüche generieren. Dass wir
    anfangen zu spekulieren und dass
  • 46:51 - 46:54
    Spekulation wirklich etwas ist, was über
    die Muster, die wir haben, hinausgeht. Zum
  • 46:54 - 47:01
    Beispiel neulich habe ich ein Kind auf der
    Straße getroffen, kam mir entgegen mit
  • 47:01 - 47:04
    seinem Vater, und ich hatte meinen
    Fahrradhelm auf. Aber der Fahrradhelm hat
  • 47:04 - 47:08
    so ein Visier. Ok, sieht albern aus
    vielleicht, aber ist wirklich gut gegen
  • 47:08 - 47:13
    die Sonne und so. Und das Kind hat gesagt,
    schau mal, Papa, ein Motorradfahrer. So,
  • 47:13 - 47:17
    was hat es gemacht? Es hat also einerseits
    ein Muster erkannt, Helm mit Visier, hat
  • 47:17 - 47:21
    aber andererseits gleich angefangen zu
    spekulieren und hat gesagt, deshalb war
  • 47:21 - 47:25
    das ja auch nur überhaupt relevant, dieses
    Muster ist auf diese neue Situation
  • 47:25 - 47:29
    anzuwenden. Und das fällt KI im Moment
    noch sehr, sehr schwer, selbst solche ganz
  • 47:29 - 47:33
    einfachen Sachen. Wir bauen zehntausende,
    hunderttausende von Trainingsbeispielen,
  • 47:33 - 47:36
    um überhaupt irgendwelche Muster zu
    erkennen. Wir Menschen kommen mit 5
  • 47:36 - 47:39
    Beispielen normalerweise aus.
    Herald: Bleiben wir bei der 2.
  • 47:39 - 47:45
    Mikro 2: Ein Begriff, den ich noch
    einbringen wollte, ist der Begriff der
  • 47:45 - 47:49
    glitch art. Und ich glaube, da kommt
    dieses hegelsche Bild, was du vorher
  • 47:49 - 47:54
    reingebracht hast, ganz gut zum Vorschein,
    weil man damit sagen könnte, das sind
  • 47:54 - 47:57
    nicht einfach nur interessant aussehende
    Verarbeitungsfehler, sondern wenn man das
  • 47:57 - 48:01
    bei KIs betrachtet, vielleicht kommen wir
    da dann irgendwann zu einem Punkt zu
  • 48:01 - 48:04
    sagen, ok, da erkennen wir tatsächlich die
    Verweigerung der KI, das zu machen, was
  • 48:04 - 48:09
    wir eigentlich von ihr wollten. Und ja,
    das ist ein ziemlich spannendes Feld, was
  • 48:09 - 48:12
    man aus deiner Perspektive vielleicht ganz
    gut betrachten kann.
  • 48:12 - 48:15
    Simon: Danke für die Anregung. Das muss
    ich mir anschauen, das klingt gut.
  • 48:15 - 48:18
    Herald: Da machen wir nochmals schnell den
    Signal Angel drüben.
  • 48:18 - 48:22
    Signal Angel: Und die nächste Frage via
    Twitter. Ist die Negation, also der
  • 48:22 - 48:28
    Widerspruch des Computers, nicht auch eine
    von außen herangetragene und damit nicht
  • 48:28 - 48:32
    internationale Konstruktion, die im
    Kontext Computer bleibt und damit keine
  • 48:32 - 48:35
    Kunst?
    Simon: lacht Ja, natürlich ist sie das.
  • 48:35 - 48:43
    Nur, jede Form hat selber einen Inhalt und
    jeder Inhalt hat eine Form und irgendwann
  • 48:43 - 48:47
    dreht das Ganze sich halt um. Aber, ja,
    das ist, an einer Stelle hatte ich darauf
  • 48:47 - 48:53
    hingewiesen, ich kann mich sogar fragen,
    ob irgendwas, was ein Computer produzieren
  • 48:53 - 48:57
    kann, tatsächlich Zufall sein kann, weil
    es ja letzten Endes ein deterministisches
  • 48:57 - 49:01
    System ist. Aber spätestens wenn wir
    Quantencomputer in die Rechnung nehmen,
  • 49:01 - 49:04
    sieht es vielleicht nochmals anders aus.
    Aber bislang sieht es so aus, als würden
  • 49:04 - 49:08
    wir auch, schade, dass wir den
    Quantenvortrag jetzt nicht hören können.
  • 49:08 - 49:12
    Eigentlich sieht es so aus, als würden wir
    sehr viel, was man mit Quantencomputern
  • 49:12 - 49:15
    machen kann, auch auf normalen Computern
    machen können. Aber da ist irgendwie ein
  • 49:15 - 49:20
    Widerspruch, dass wir einerseits, offenbar
    kann, kann irgendwas über Systeme hinaus
  • 49:20 - 49:28
    da entstehen, glaube ich, schauen wir mal.
    Herald: Wir machen einmal Mikro 3, dann
  • 49:28 - 49:37
    bist du endlich mal dran.
    Mikro 3: Ich wollte noch einmal kurz auf
  • 49:37 - 49:40
    diese Intention eingehen. Ich bin auch
    Malerin, und ich habe auch Kunst studiert
  • 49:40 - 49:46
    und ich find.. ja, was langweiliges..
    Malerin... Ich finde das überhaupt, also
  • 49:46 - 49:52
    meine Intention, wenn ich anfange, ein
    Bild zu malen, ich fände es super
  • 49:52 - 49:57
    langweilig, wenn das dann genauso wird wie
    meine Intention ist, wenn da eins zu eins,
  • 49:57 - 50:03
    das abgebildet wird, was in meinem Kopf
    als Ausgangsidee war. Das bedeutet,
  • 50:03 - 50:10
    während ich male, reagiere ich mit dem
    Bild auf das, was, also ich muss wirklich
  • 50:10 - 50:15
    auf dieses Bild reagieren, zuhören,
    wegnehmen. Dann ist irgendwie noch so ein
  • 50:15 - 50:20
    Realitätsaspekt. Ich habe irgendwie das
    Gefühl, es sind so mehrere Elemente
  • 50:20 - 50:26
    vereint, und ich reagiere einfach nur. Und
    dann, je besser ich irgendwie zuhöre und
  • 50:26 - 50:31
    reagiere, desto interessanter wird
    eventuell das, was passiert und ich komme
  • 50:31 - 50:36
    jetzt vielleicht nicht ganz woanders an,
    aber ... schon. Und trotzdem ist dann ja
  • 50:36 - 50:41
    nicht alles, was ich gemalt habe Kunst.
    Das heißt, ich suche ja auch noch aus, was
  • 50:41 - 50:47
    danach jetzt Kunst ist und was nicht. Ich
    fände es super interessant, wenn ich jetzt
  • 50:47 - 50:52
    so KI hätte, die das jetzt analysiert,
    welches Bild für mich, was ich jetzt im
  • 50:52 - 50:56
    Endeffekt auswähle und was jetzt Kunst ist
    und was nicht. Und ich für mich würde dann
  • 50:56 - 51:02
    sehen, ah ok, das ist irgendwie mein
    Kunstbegriff. Und wenn man jetzt irgendwie
  • 51:02 - 51:05
    ganz viele Künstler nehmen würde, die
    dann... also das mit ganz vielen Künstlern
  • 51:05 - 51:09
    machen würde, vielleicht würde, könnte man
    das - und die KI würde das halt lernen von
  • 51:09 - 51:14
    ganz vielen Künstlern, vielleicht würde
    man da dann irgendwie irgendwo hinkommen.
  • 51:14 - 51:20
    Aber ja, zum Beispiel für mich ist Kunst,
    der beste Begriff, den ich kenne, ist,
  • 51:20 - 51:26
    dass Kunst Wissenschaft ohne Ziel ist, was
    jetzt auch dem widersprechen würde, was du
  • 51:26 - 51:30
    sagst. Und dann könnte man natürlich auch
    noch sagen, macht die Natur Kunst, ist das
  • 51:30 - 51:36
    irgendwie Kunst und Wissenschaft vereint.
    Und wir sind einfach nur doof, dass wir
  • 51:36 - 51:39
    das alles trennen, und haben es einfach
    noch nicht verstanden. Wir sind totale
  • 51:39 - 51:43
    Anfänger, und die macht das schon seit
    super langer Zeit. Und Kunst ist überhaupt
  • 51:43 - 51:48
    nicht irgendwas, was jetzt nur der Mensch
    macht.
  • 51:48 - 51:53
    Simon: Zum ersten Teil. Ich glaube, das,
    was du dir da - sag ich jetzt mal -
  • 51:53 - 51:57
    wünschst, für die praktische Arbeit, da
    ist man schon sehr weit. Ich glaube, das
  • 51:57 - 52:02
    sind Sachen, die tatsächlich sehr bald
    auch schon auf dem Niveau funktionieren
  • 52:02 - 52:05
    werden, dass auch professionelle Künstler
    damit arbeiten wollen, dass da was bei
  • 52:05 - 52:10
    rumkommt. Es hat natürlich immer das
    Problem. Wenn ich einzelne Künstler nehme,
  • 52:10 - 52:17
    zum Beispiel nur deine Bilder und dann von
    allem, was du malst, soll der Computer
  • 52:17 - 52:21
    jetzt entscheiden, was passt am besten zu
    dem, was du bislang gemacht hast? Dann
  • 52:21 - 52:25
    habe ich wahrscheinlich nicht genügend
    Daten. Genau. Und wenn ich aber alle
  • 52:25 - 52:32
    Bilder der Welt nehme, dann entsteht halt
    dieses "reduced to the mean". Dann kommt
  • 52:32 - 52:38
    halt sozusagen der Massengeschmack daraus
    extrahiert oder sowas. Das ist dann
  • 52:38 - 52:42
    vielleicht auch nicht ganz das, was man
    will. Aber in dem Bereich, in dem Bereich
  • 52:42 - 52:47
    passiert schon relativ viel und was ja
    auch schon, was z.B. geht, wäre, dass man
  • 52:47 - 52:52
    den Stil von einem Bild, was du gemalt
    hast, nimmt und auf andere Bilder
  • 52:52 - 52:56
    überträgt. Und vielleicht ist das dann
    auch wieder etwas, was für den Künstler zu
  • 52:56 - 53:01
    Inspirationen beitragen kann. Achja, so
    könnte das aussehen. Und dann fange ich an
  • 53:01 - 53:04
    zu malen. Dann kommt am Ende trotzdem
    wieder etwas ganz anderes raus. Schön
  • 53:04 - 53:08
    finde ich auch, dass du den künstlerischen
    Prozess nochmal viel besser dargestellt
  • 53:08 - 53:12
    hast als ich das jetzt so schnell gemacht
    habe. Und auch das sind Sachen.. Jedes
  • 53:12 - 53:16
    Mal, wenn man es beschreiben kann, was da
    eigentlich passiert, kann man sich auch
  • 53:16 - 53:20
    überlegen, dass ne KI da reingeht und das
    macht, also solche Feedback Loops z.B.
  • 53:20 - 53:25
    auch macht und dann die ursprüngliche
    Intention wieder ändert. Naturkunst am
  • 53:25 - 53:32
    Ende und die Frage, brauchst du dafür
    überhaupt eine Intention? Ich glaube, das
  • 53:32 - 53:37
    hängt sehr viel daran, wie man jetzt den
    Begriff der Intention versteht. Wenn man
  • 53:37 - 53:44
    sagt, es muss im Vorhinein alles in Stein
    gemeißelt sein, dann kommt man da
  • 53:44 - 53:49
    sicherlich in Schwierigkeiten. Ich selber
    würde sagen, dass die Natur zwar
  • 53:49 - 53:53
    unglaublich schön sein kann, dass sie aber
    eigentlich keine Kunst ist und schafft.
  • 53:53 - 53:57
    Aber auch da, weiss ich, gibt es viele
    Leute, die dem widersprechen. Ich möchte
  • 53:57 - 54:03
    es für den Vortrag auch deshalb nochmal
    sagen, weil mir gings eigentlich ja auch
  • 54:03 - 54:09
    gerade um die Aussage, was passiert mit
    uns Menschen, wenn jetzt irgendwas, wo wir
  • 54:09 - 54:14
    bislang gesagt haben, das können nur wir
    Menschen, wenn das jetzt technisch machbar
  • 54:14 - 54:18
    wird. Was heißt das dann eigentlich? Wenn
    ich jetzt aber den Kunstbegriff so fasse,
  • 54:18 - 54:24
    was auch okay ist, dass ich sage, rein
    ästhetisch zum Beispiel: alles, was schön
  • 54:24 - 54:28
    ist, ist Kunst. Dann hab ich aber gar
    nicht mehr diesen Knackpunkt, dass ich
  • 54:28 - 54:32
    sage, okay, der Computer.. Dass der
    Computer was Schönes produzieren kann, da
  • 54:32 - 54:37
    sind wir uns glaub ich einig, das geht
    relativ gut. Herald: Dann machen wir die
  • 54:37 - 54:39
    zwei endlich.
    Mikro 2: Ein Aspekt, wo ich nochmal
  • 54:39 - 54:43
    nachfragen würde ist zur Idee von Kunst
    und wie sie mit Rausch oder Drogen
  • 54:43 - 54:48
    zusammenhängt. Es ist einmal son
    abgenutztes Klischee vom Künstler, der
  • 54:48 - 54:51
    ständig besoffen ist. Aber wenn man sich
    die Künstler und die Kunstuni so anschaut,
  • 54:51 - 54:56
    ist doch irgendwie was dran. Dann ist da
    die Frage, kann eine KI einen Rausch
  • 54:56 - 55:00
    empfinden? Kann sich eine KI besaufen? Wie
    funktioniert das? Oder ist das überhaupt
  • 55:00 - 55:04
    nicht relevant für deine Arbeit?
    Simon: Das ist eine Frage, über die ich so
  • 55:04 - 55:09
    noch nicht nachgedacht habe. Ich versuch's
    aber trotzdem mal. Es ist ja schon so,
  • 55:09 - 55:12
    wenn ich das mit dem, was ich über
    Intention gesagt habe, in Verbindung
  • 55:12 - 55:17
    bringe, es geht ja häufig- nicht immer,
    Kunst kann auch sehr abstrakte Gedanken
  • 55:17 - 55:21
    haben, die sie zum Ausdruck bringen will -
    aber häufig geht es tatsächlich auch
  • 55:21 - 55:27
    darum, sehr, sehr tief liegende Gefühle
    irgendwie zu transportieren da drin. Und
  • 55:27 - 55:32
    da kann ich mir durchaus vorstellen, dass
    Drogen einem selber einen Weg eröffnen, zu
  • 55:32 - 55:35
    diesen tiefen Gefühlen eher vorzudringen.
    Und dass es vielleicht darüber einen
  • 55:35 - 55:38
    Zusammenhang gibt. Vielleicht liegt der
    aber auch auf einer ganz anderen Ebene.
  • 55:38 - 55:43
    Vielleicht sind auch besonders labile
    Menschen anfällig für Drogen und besonders
  • 55:43 - 55:47
    kreativ aus völlig anderen Gründen, oder
    sowas? Ich weiß es nicht, hab's nicht
  • 55:47 - 55:51
    untersucht. Wie könnte man eine KI
    berauschen? Das finde ich jetzt allerdings
  • 55:51 - 55:56
    spannend. Vielleicht, vielleicht wäre das
    tatsächlich auch noch so ein Weg, ich
  • 55:56 - 56:03
    hatte halt richtig mehr so an den formalen
    Widerspruch gedacht. Aber vielleicht kann
  • 56:03 - 56:10
    man die ja auch.. zum Beispiel
    zusätzliches Rauschen reinschmeissen in
  • 56:10 - 56:14
    die Netze.. Das wird teilweise auch
    tatsächlich schon gemacht, fällt mir auf,
  • 56:14 - 56:19
    bei Auto-Encodern. Da wird Rauschen
    injiziert, damit man nachher Ergebnisse
  • 56:19 - 56:24
    hat, die von einzelnen Zufälligkeiten
    unabhängig sind und mehr so das Allgemeine
  • 56:24 - 56:32
    treffen. Vielleicht ist eine KI mit viel
    Rauschen, auch irgendwie berauscht, müsste
  • 56:32 - 56:36
    ich mal drüber nachdenken.
    Herald: Oh Wahnsinn. Das wäre fast das
  • 56:36 - 56:38
    Schlusswort. Aber machen wir mal weiter
    mit der zwei.
  • 56:38 - 56:43
    Mikro 2: Ich frage mich, ob die Debatte um
    Intentionalität nicht einfach in der
  • 56:43 - 56:47
    Debatte, die man schon Anfang des letzten
    Jahrhunderts hatte, in der Kunst, ob sie
  • 56:47 - 56:51
    nicht dahinter zurückfällt, wo man schon
    sagt, man kann sich vom Autor vom
  • 56:51 - 56:54
    Werkschaffenden, kann man sich
    distanzieren und eigentlich kommt es auf
  • 56:54 - 56:57
    die Deutung an, die eine künstlerische
    Intention meinetwegen unterstellt, aber
  • 56:57 - 57:01
    eben als Blackbox unterstellt, weil wir
    wissen ja nicht, wie die andere Person
  • 57:01 - 57:04
    reagiert. Und da frage ich mich, warum
    sollte das bei KIs nicht genauso möglich
  • 57:04 - 57:08
    sein? Kann man sich nicht besser von
    Intentionen distanzieren, indem man zum
  • 57:08 - 57:12
    Beispiel sagt, ok, Kunstwerke bestimmen
    sich in irgendeiner Form selbst, so wie
  • 57:12 - 57:15
    wir es vorhin bei Mikro 3 gehört haben.
    Wenn man ein Bild oder eine Oper auf eine
  • 57:15 - 57:20
    bestimmte Art und Weise anfängt, dann kann
    man nicht mehr beliebig weitermachen. Am
  • 57:20 - 57:23
    Anfang hat man noch alle Freiheiten. Aber
    je mehr man ein Bild oder ein Stück
  • 57:23 - 57:27
    weiterkomponiert, desto mehr kommen
    irgendwelche Zwänge rein, wo ich sagen
  • 57:27 - 57:31
    würde, genau das ist dann die Kunst, dass
    es diese Nicht-Beliebigkeit ist aber die
  • 57:31 - 57:34
    Kunstregeln sozusagen sind, die es ja
    implizit und explizit gibt. Und sowas
  • 57:34 - 57:39
    kommt ja auch wiederum die KI dann machen.
    Simon: Ja, die KI könnte vor allem
  • 57:39 - 57:44
    vielleicht eventuell auch diese Regeln
    finden. Nur haben wir dann halt wieder das
  • 57:44 - 57:49
    Problem, dass die Kunst, wenn wir sie
    historisch betrachten, ja auch gerade
  • 57:49 - 57:52
    immer darin besteht, dass diese Regeln
    gebrochen werden und dass genau das uns
  • 57:52 - 57:56
    besonders künstlerisch dann auch wieder zu
    einem bestimmten Zeitpunkt vorkommt. Ich
  • 57:56 - 58:00
    glaube aber nicht, dass ich auf diese alte
    Debatte zurückgekommen bin mit
  • 58:00 - 58:05
    Intentionen, dass ich sage, die KI oder
    eben der Künstler, die Intention des
  • 58:05 - 58:09
    Künstlers, das ist das Wichtige, sondern
    mir ging es ja auch darum, wie der
  • 58:09 - 58:14
    intensionale Prozess auf das Kunstwerk
    wirkt und nicht, was der Künstler sich
  • 58:14 - 58:17
    dabei gedacht hat. Insofern sind wir da
    gar nicht so weit auseinander.
  • 58:17 - 58:22
    Herald: OK, machen wir die drei noch und
    dann gehen wir noch einmal an den Signal
  • 58:22 - 58:25
    Angel, und dann ist leider auch die Zeit
    rum. Also die drei bitte.
  • 58:25 - 58:29
    Mikro 3: Ich muss mich erst mal
    entschuldigen, denn ich habe den Talk
  • 58:29 - 58:33
    verpennt. Ich habe es verpasst. Ich möchte
    trotzdem ne Frage stellen, dafür muss ich
  • 58:33 - 58:39
    ne Unterstellung machen und zwar nehme ich
    an, dass die Daten die die KI bekommen
  • 58:39 - 58:45
    hat, um damit etwas anzufangen und Kunst
    zu machen allesamt vorgefertigt waren. Es
  • 58:45 - 58:51
    sind keine eigenen Erfahrungen gewesen.
    Also müsste man eine KI befähigen, eigene
  • 58:51 - 58:58
    Erfahrungen, eigene Bilder mit Kameras und
    Sensoren auszustatten, so dass sie etwas
  • 58:58 - 59:06
    aus der eigenen Erfahrung heraus schaffen
    würde, und würde dieses Schaffen dann eher
  • 59:06 - 59:13
    als Kunst betrachtet.
    Simon: Das zielt auf eine große
  • 59:13 - 59:18
    theoretische Richtung in der KI Forschung,
    die ich nicht teile, aber die weit
  • 59:18 - 59:22
    verbreitet ist, wo man sagt, "brain in a
    tube" das funktioniert nicht, also ich
  • 59:22 - 59:31
    kann nicht irgendwie einen Geist in der
    Kugel haben, sondern ich muss, wenn es um
  • 59:31 - 59:36
    so etwas geht wie Kunst oder überhaupt
    denken, alle kognitiven Fähigkeiten, das
  • 59:36 - 59:40
    lernt man nur durch das Erleben. Das
    heißt, letzten Endes müsste ich dann
  • 59:40 - 59:44
    eigentlich einen Roboter haben, der sich
    in der Welt bewegt mit Menschen, da seine
  • 59:44 - 59:47
    eigenen Erfahrungen macht und so weiter
    und so fort. Das ist eine weit verbreitete
  • 59:47 - 59:51
    These. Ich halte die nicht für richtig.
    Ich halte die deshalb nicht für richtig,
  • 59:51 - 59:57
    weil ja ganz viele von den menschlichen
    Erfahrungen vorliegen in Form von Texten,
  • 59:57 - 60:02
    in Form von Bildern, in Form von Musik.
    Und wenn das vorliegt, warum soll ein
  • 60:02 - 60:06
    Computer nicht davon lernen können? Warum
    muss er das alles selber erleben? Ich kann
  • 60:06 - 60:10
    auch viele Sachen denken, die ich selber
    nie erlebt habe, weil ich sie irgendwo
  • 60:10 - 60:18
    gelesen habe oder so. Aber wie an allen
    Punkten: es gibt auch da sehr, sehr viele,
  • 60:18 - 60:22
    sehr, sehr ernst zu nehmende Leute, die
    die Hände über dem Kopf zusammenschlagen
  • 60:22 - 60:32
    bei dem, was ich erzähle hier. Klar.
    Mikro 2: inaudible ... zum Beispiel auch
  • 60:32 - 60:38
    anderen KIs oder anderen Menschen. Und
    eben diese Interaktion fehlt ja dann.
  • 60:38 - 60:44
    Simon: Genau. Die einzige Interaktion, die
    es bei jedem Zeug oder sowas gibt ist
  • 60:44 - 60:50
    wirklich die Interaktion der KI mit Daten
    und die Daten sind teilweise von mir
  • 60:50 - 60:55
    gemacht und teilweise aber auch irgendwie
    aus dem Fundus, dem kulturellen Fundus
  • 60:55 - 61:00
    irgendwie geraubt. Spannend wäre es
    natürlich, wenn - was passiert, wenn KIs
  • 61:00 - 61:06
    tatsächlich in der Lage wären, in einen
    künstlerischen Prozess einzusteigen, wenn
  • 61:06 - 61:09
    die dann auch noch miteinander irgendwie
    Erfahrungen austauschen können oder
  • 61:09 - 61:14
    kommunizieren können und das sind eben
    genau die Szenarien, die immer so nach
  • 61:14 - 61:17
    Science-Fiction klingen, wo ich aber
    wirklich glaube, dass das wirklich bald
  • 61:17 - 61:22
    schon kommt. Und dass wir uns eigentlich
    jetzt heute schon ganz ernsthaft Gedanken
  • 61:22 - 61:27
    darum machen müssen, wie gehen wir
    eigentlich mit einer Situation um, in der
  • 61:27 - 61:34
    wir Menschen unser Monopol auf ganz viele
    kognitive Fähigkeiten abgetreten haben an
  • 61:34 - 61:38
    etwas, was wir selber erzeugt haben? Und
    dass wirft lauter ethische Fragen auf und
  • 61:38 - 61:42
    das wirft lauter gesellschaftliche Fragen,
    es wirft lauter machtpolitische Fragen,
  • 61:42 - 61:49
    zum Beispiel die Frage, wem gehört das
    dann, wenn man das macht? Und das sind
  • 61:49 - 61:53
    einfach die - meiner Meinung nach - ein
    paar der wirklich großen wichtigen Fragen
  • 61:53 - 61:56
    für die nächsten Jahre.
    Herald: Ja, vielen Dank, wir sind jetzt
  • 61:56 - 62:00
    doch schon zwei Minuten drüber. Deswegen
    stellen wir die Frage zurück. Ich möchte
  • 62:00 - 62:03
    euch danken, dass ihr so lebhaft
    diskutiert habt. Das war extrem spannend.
  • 62:03 - 62:06
    Und natürlich wollen wir zusammen Simon
    danken für den schönen Vortrag.
  • 62:06 - 62:07
    Simon: Danke sehr!
  • 62:07 - 62:09
    Applaus
  • 62:09 - 62:31
    36c3 Abspannmusik
  • 62:31 - 62:35
    Untertitel erstellt von c3subtitles.de
    im Jahr 2020. Mach mit und hilf uns!
Title:
36C3 - Mensch - Kunst – Maschine
Description:

more » « less
Video Language:
German
Duration:
01:02:35

German subtitles

Revisions