Schönen guten Morgen, Richard. Guten Morgen, Markus. Richard, ich würde gerne ein bisschen ungewöhnlicher einsteigen und dir zwei Zitate vorlesen und an den Beginn sozusagen unseres Gesprächs stellen. Das erste geht so. Sicherlich lassen sich Kontrollmaßnahmen entwickeln, die die Angst vor einer plötzlichen vollständigen Vernichtung beseitigen können, auf die wir derzeit zusteuern. Zweiter Satz.

Interessant ist an diesen beiden Sätzen, der eine Satz stammt von dem Physiker und Mathematiker John von Neumann 1955 in einem berühmten Artikel mit dem Titel Can We Survive Technology? Das erste Mal aufgeschrieben und bezieht sich auf das Aufkommen von Kernwaffen. Der zweite Satz stammt von Sam Altman, der Mann, der gerade in aller Munde ist, der CEO von OpenAI. Und der hat das so gesagt in einer Anhörung vor dem US-Senat am 16. Mai 2023. Der eine Satz 1955, der andere von 2023. Apokalypse ist das verbindende Element, Richard. Warum sind wir Menschen so empfänglich für apokalyptische Szenarien? Grundsätzlich ist es ja nicht ganz verkehrt, sich vor technologischen Entwicklungen zu fürchten. Aber diese Lust an der Apokalypse, da fragst du den Falschen, weil ich habe die nicht.

Also es gibt ja auch Leute, die gucken gerne Horrorfilme oder Katastrophenfilme, Weltuntergangsszenarien und so weiter. Du weißt, dass es ein neues Wort gibt für solche Typen. Ich dachte, du bist einer. Du weißt ja, wir werden da gelegentlich, beschimpfe ich dich hier als Boomer. Ja. Es gibt ein neuschönes Wort, das heißt Duma. Ah, Duma. Ja, von Doomsday. Ja, Doomsday, der Weltuntergang. Ja, okay, Weltuntergangspropheten und Apostel und so, da gehöre ich irgendwie nicht zu.

Ich denke immer, wenn du in einem einsamen Haus im Wald lebst, dann ist es sehr sinnvoll, sich vor Einbrechern zu fürchten, aber nicht vor Geschwänstern. Und deswegen ist so meine Angst vor gespenstischen Szenarien, die ist eher gering ausgeprägt, wogegen die für Einbrecher hellbar ist. Nochmal, warum sind wir gerade so sehr mit apokalyptischen Dingen beschäftigt? Also wir hatten das ja rund um den Jahreswechsel 1999, 2000, wenn du dich erinnerst, pünktlich zu Silvester, sollte damals die Welt untergehen, ist glücklicherweise ausgefallen. Jetzt haben wir es aber tatsächlich mit einem Szenario zu tun, von dem ich sagen würde, wir müssen uns schon Gedanken machen. Diese KI-Apokalypse, die gerade umgeht, die halbe Welt, die sich fragt, ist künstliche Intelligenz jetzt irgendwann etwas, was alle gefährlichen, tödlichen Krankheiten heilt? Oder ist es das, was uns endgültig ins Jenseits befördern wird? Ich habe das Gefühl, zwischen diesen beiden Pendeln geht es gerade hin und her. Genau, irgendwo dazwischen tun wir es nicht mehr. Wir gehören eher der einen Fraktion an oder der anderen. Es gibt ja jetzt genug, die davor waren, dass der Weltuntergang wahrscheinlich schon im nächsten Jahr kommt. Es gibt ja auch hinreichend Leute, die glauben, im nächsten Jahr greift der Russe an. Jetzt bin ich mal sehr gespannt, was er kommt.

Also wer kommt wem zuvor? Der Weltuntergang durch KI oder der Angriff Russlands? Also beides Dinge, die ich für groben Unfug halte. Aber wir sollten das ein bisschen kleiner analysieren und uns die Frage stellen, Was könnte das Motiv sein für die im Augenblick so stark aufflackernden Warnungen, die von den KI-Entwicklern selber kommen? Darüber sollten wir definitiv reden. Ich würde trotzdem gerne am Beginn doch einmal ein paar Dinge klären. Also ich glaube, was man einmal mal sagen muss und vielleicht muss man es wirklich mal in ein paar Sätze fassen.

Diese Revolution ist ja keine, die sich in irgendeiner Form um einen neuen Computer oder irgendeine App oder so weiter dreht.

Und nicht darum dreht, was ein Computer möglicherweise zusätzlich kann. Sondern wir reden von der Erschaffung von Millionen und letzten Endes hunderten Millionen Agenten. Neue Agenten. Und Agenten, und das musst du dir nochmal deutlich sagen, das ist der große Unterschied zwischen einem Agenten und einem Werkzeug. Du könntest ja sagen, KI, Software und so weiter ist alles unsichtbar, aber ist ein Werkzeug. Agenten sind aber nicht einfach Werkzeuge. Ein Messer ist eine klare Angelegenheit. Das kann etwas sein, mit dem du deinen Kohlkopf schneidest. Brot schneidest oder deinen Nachbarn ermordest. Das entscheidest du, die Art und Weise, wie du ihn einsetzt. Ein Agent, und das ist neu, und das ist auch, glaube ich, das, was uns Angst macht, kann unabhängig von uns agieren. Und die können überall zum Einsatz kommen. Also wir reden nach wie vor nicht von menschlichen Agenten, Agent ist eine Metapher. Wir reden von einer KI.

Die in der Lage ist, sehr, sehr komplexe, übergreifende Aufgabenstellungen selbsttätig anzugehen. So, und ist das richtig beschrieben, Richard? Ist das sozusagen die Welt, auf die wir zusteuern? Und die Frage an jemanden wie dich, der sich so viel auch mit dieser Thematik beschäftigt, ist die Angst davor, ist die begründet? Also, dass das grundsätzlich risikobehaftet ist, ist auf jeden Fall klar. Dass es große Chancen gibt im Zusammenhang mit KI, ist ebenso klar. Und jetzt muss man gucken, worin können denn die tatsächlichen Gefahren zum Thema Einbrecher und Gespenster der KI-Entwicklung bestehen?

Also was ist denn wirklich das Gefährliche daran? Das Einerseits ist es das Gefährliche daran, dass wir der KI mehr und mehr Verantwortungsbereiche möglicherweise übertragen. Also Bereiche, wo bisher Menschenentscheidungen getroffen haben, wo in Zukunft die KI-Entscheidung trifft. Und wenn wir diese Entscheidung der KI letztlich nicht verstehen können, weil sie nicht auf Gründen basiert, also nicht auf Kausalität, sondern weil sie auf Korrelationen basiert, also auf statistischen Wahrscheinlichkeiten, durch die man zu einem Ergebnis kommt, sind die Ergebnisse der KI unnachvollziehbar. Wir wissen quasi nicht, was in der KI vor sich geht. Und das hat natürlich ein großes Risiko, mal ganz grundsätzlich erstmal auf neutralstmögliche Art und Weise beschrieben.

Ich habe neulich ein sehr interessantes Stück gelesen, ich glaube bei den Kollegen der Zeit, da ging es genau um diese Duma. Da haben die beschrieben, wie in einem Büro in San Francisco regelmäßig KI-Forscher, Investoren und Unternehmer zusammen in einem Stuhlkreis sitzen. Alle zwischen 20 und 30 Jahren alt, alle top gebildet und diskutieren darüber, dass in den kommenden drei bis fünf Jahren fast alle Befürchtungen rund um KI wahr werden könnten. Künstliche Intelligenz könnte zu Massenarbeitslosigkeit führen. Die menschliche Biologie könnte programmierbar werden. Krankheiten könnten ausgemerzt werden. Gute Nachricht. Der Widerstand gegen die ganze Tech-Branche könnte in Gewalt umschlagen. Dann wird in diesem Stuhlkreis besprochen, wie man leben würde, wenn das alles eintreten würde. Eine Start-up-Investorin sagt dann zum Beispiel, dass sich kein Geld mehr in Altersvorsorge steckt. Weil Altersvorsorge macht in einer Welt ohne Arbeit keinen Sinn, ist wertlos. Das sind übrigens ernsthafte und interessante Überlegungen. Ja, finde ich auch. Also wenn ich mir diese verschiedenen Dinge angucke, ja sicherlich, es wird Durchbrüche bei Krankheiten geben, da bin ich mir ziemlich sicher. Alle Krankheiten sind natürlich wieder maßlos übertrieben, aber da kann natürlich einiges Gute passieren. Aber dass sich unser Arbeitsmarkt radikal verändert in einem Ausmaß, wie wir uns das bisher nicht vorstellen können, das erzähle ich seit über zehn Jahren. Und da bin ich auch ganz sicher, dass das kommt.

Aber andere Dinge müssen nicht unbedingt kommen. Also andere Dinge sind sehr viel spekulativer. Also die Wahrscheinlichkeit, dass es zu Massenarbeitslosigkeit kommt, ist riesig. Die Wahrscheinlichkeit, dass es zu einem Aufstand gegen die Tech-Konzerne kommt, ist möglich. Aber ob das jetzt wirklich wahrscheinlich ist und ob man das vielleicht auch in keinem ersticken kann, das sind alles sehr schwierige Fragen, die man eigentlich nicht wirklich absehen kann. Da sollten wir gleich mal reingehen und auch uns anschauen, was da teilweise schon passiert. Also wie der Widerstand gegen KI, insbesondere gegen Datenzentren wächst. Aber das nochmal weitergedacht. Die beschreiben eine Forscherin, die sich mit KI-Sicherheit beschäftigt, dass sie den kompletten Kollaps der Wirtschaft fürchtet.

Sagt dann und berichtet von einem Überlebenstraining im Wald und sagt, sie hat dort gelernt, bei Starkregen einen Unterstand zu bauen. Dann gibt es eine andere, eine junge Softwareentwicklerin. Nochmal, es sind alles, man nennt sie Leute heute, glaube ich, High Potentials. Also Leute, die es wirklich drauf haben. Es sind keine spirituellen, komischen Hippies oder Träumer. Eine andere, die sagt, sie meditiert, um mental robust zu werden. Es sei ratsam, sich nach Land umzuschauen, auf dem man als Selbstversorger leben könnte, sagt ein junger Mann mit Locken und so weiter. Wir sollten lernen, wie man Tiere tötet. Die beste Antwort auf diese Herausforderung und diese Gefahren ist mit Sicherheit nicht diese Form von Esoterik.

Also das ist wirklich eine alberne Art, darauf zu reagieren, sondern viel interessanter ist es zu überlegen, wie man durch Regulatorik verhindern kann, dass KI in bestimmte Entscheidungssituationen für bestimmte Prozesse kommt. Und sowas ist ja auch irgendwie angedacht, dass man darüber nachdenken muss, wo kann man Grenzen ziehen, wo kann man auch wirklich definitive Grenzen ziehen und so. Also ich würde das lieber aktiv angeben, als mir zu glauben, dass ich nach dem Weltuntergang in aller Ruhe meinen Acker dann bestelle. Irgendwo in Neuseeland. Ja, ja, genau. Irgendwo in Neuseeland, wo sich dann natürlich alle Reichen dieser Welt aufhalten. Das sind inzwischen ziemlich viele. Dann tritt man sich in Neuseeland dermaßen auf die Füße. Ich weiß auch nicht, wie dann die Lebensmittelversorgung in Neuseeland irgendwann aussehen soll und so. Also diese ganzen eskapistischen Fantasien, die haben etwas unglaublich Dummes und Naives.

Man kann das so abtun, aber ich sage mal die Tatsache und ich habe solche Leute selber auch schon gesprochen, super schlaue Leute, dass die sich mit solchen Dingen, mit solchen Szenarien auseinandersetzen, das ist etwas, was mich immer schon irritiert hat und nicht irritiert hat im Sinne von, was sind das für komische Spinner, sondern wenn der sich damit beschäftigt, muss ich mich fragen, ob ich die ganze Dimension der Geschichte wirklich begriffen habe. Ja, aber es gibt auch unter sehr intelligenten Menschen Sozialhypochonder.

Also die Frage, ob jemand Hypochonder ist oder nicht, sagt nichts über seine Intelligenz aus. Dumme Menschen können Hypochonder sein und hochintelligente Menschen. Und das gleiche gilt auch für diese soziale Hypochondrie. Dass man glaubt, man findet irgendwo in der Welt dann Rückzugsorte. Und während die ganze Menschheit dann ausgelöscht wird von einer bösen KI, kann man glücklich sein, dass man die Insel gefunden hat, auf der man noch weiter überleben kann. Und da wie eine Galapagos-Schildkröte 150 wird, nach allen Regeln der Longevity. Also das ist im Grunde genommen eine Flucht, sich mit dem Thema ernsthaft auseinanderzusetzen und keine Bewältigung der Herausforderung. Um nochmal die Dimension klarzumachen, Richard, weil das Beispiel ist wirklich sehr interessant. Es gibt eine psychologische Dimension, die das Ganze hat, über die wir heute auch unbedingt nochmal reden sollten. Nämlich die Frage, was es mit uns macht, wenn beispielsweise Kinder wie selbstverständlich anfangen, mit diesen KI-Agenten zu sprechen, sich mit denen auszutauschen, denen Dinge anvertrauen, die sie ihren eigenen Eltern nicht erzählen würden. Da gibt es faszinierende Untersuchungen dazu. Und das ist etwas, an dem ich denke, was machen wir da gerade für ein Experiment? Genau, das ist übrigens eine völlig realistische Erfahrung. Da redest du über Einbrecher. Das sind Dinge, die werden passieren.

Und das sind Dinge, die millionenfach multipliziert in ihren sozialen Auswirkungen noch gar nicht begriffen sind. Das ist eine ganz, ganz reelle Gefahr. Sich davor zu fürchten und zu überlegen, was man dagegen tun kann, ist eine völlig berechtigte Sorge.

Wenn dein bester Freund eine KI wird, die dir nicht widerspricht, die immer nett zu dir ist und so weiter, das hat ein sehr, sehr hohes Gefahrenpotenzial. Ja, deswegen, weil du halt nicht den Widerspruch kriegst, den du normalerweise erntest. Das ist kein Wettstein fürs Leben. Ja, damit verkümmert ja eine wesentliche Dimension deines Menschseins. Aber im Augenblick wird ja vor anderen Dingen gewarnt. Im Augenblick wird ja, davor gewarnt, dass die KI außer Kontrolle gerät. Und da gibt es auch nochmal verschiedene Abstufungen. Also, es gibt die Abstufung von außer Kontrolle geraten, zum Beispiel, dass sie sich irgendwo reinheckt, zum Beispiel an die Börse und den größtmöglichen Unfug da anstellt und im Grunde genommen das gesamte Börsengeschehen karnevalisiert.

Das könnte sein. Als Linksanarchist müsste man sich darüber freuen. Das wäre der effektivste Beitrag gegen soziale Ungleichheit. Das wäre auch sehr ironisch. Über Nacht würden sozusagen alle Börsenvermögen erlöschen. Das ganze Börsenspiel würde für kurze Zeit auf Null gesetzt. Es gäbe ein Great Reset, was Vermögensverteilung anbelangt und so weiter. Also mal ernst beiseite, das ist natürlich in der Tat ein großes Katastrophenszenario auch für viele Volkswirtschaften. Aber er kann sich natürlich in alle möglichen Dinge einhecken und sozusagen das mega gefährlichste Szenario wäre, wenn es sich in Sicherheitssysteme einheckt. Das ist wahnsinnig gefährlich. Der größte und gefährlichste aller Einbrecher ist die Vorstellung, dass KI-Waffensysteme, Sicherheitssysteme außer Kontrolle geraten durch KI-Agenten, die selbstständig handeln. Das ist irrsinnig gefährlich und interessanterweise wird zwar über die Verselbstständigung von KI-Agenten in den Systemen sehr viel gesprochen, aber so gut wie überhaupt nicht im Hinblick auf KI-Waffen. Mhm.

Das ist wahr, sondern ganz im Gegenteil, KI soll uns diesbezüglich retten, weiterbringen. Sicherer machen. Sicherer machen, man hat auch alles sehr viel für und wieder. Ich habe neulich mir das Gespräch zwischen Matthias Döpfner und Peter Thiel angehört. Und das war sehr interessant, weil Peter Thiel auf die Frage, wie er auf dieses ganze KI-Thema schaut.

Auch keine klare Antwort hat und der sagt, aber wenn da nur eine 10% Chance ist, dass es ein ernsthaftes Problem gibt, ja und darüber müssen wir jetzt gleich mal reden, was da jetzt passiert ist, was der Auslöser dafür war, dass das plötzlich wieder in aller Munde ist. Er sagt, wenn da nur diese 10% Chance ist, dann müssen wir uns als Menschheit natürlich fragen, sind wir bereit, diese 10% Chance oder dieses Risiko zu gehen oder nicht zu gehen. Nur, dass die Menschheit, und das ist entscheidend, keine Entscheidungen trifft. Wir als Menschheit können da gar nichts sagen. Also das, was da passiert ist, Richard, darüber müssen wir jetzt mal reden. Also KI-Agenten, wir reden darüber fast wie über ein menschliches Wesen. Und ich glaube, in gewisser Weise trifft es das auch. So ein KI-Agent ist ein System aus KI-Programmen, muss man ja sagen, dem man ganz bestimmte Aufgaben geben kann. Also du definierst ein Ziel. Und stellst sozusagen die Ressourcen bereit, um dieses Ziel zu erreichen. Und der KI-Agent kann dann alles machen. Der schreibt für dich Programme, der lädt Software herunter, der kauft sich eine SIM-Karte, der eröffnet ein Konto, der geht die Schritte, die ihn näher zu einem definierten Ziel bringen. Und es gab neulich eine interessante Einlassung von Jensen Huang, das ist der CEO von NVIDIA. Das ist ja im Moment die wertvollste Firma der Welt. Das sind die, die die entscheidenden Grafikkarten bereitstellen, Prozessoren bereitstellen.

Weil das Ganze unfassbar viel Rechenleistung braucht und unfassbar viel Strom und Energie braucht. Und der unterscheidet mittlerweile schon zwischen biologischen Angestellten, die er hat, also echten Menschen aus Fleisch und Blut und digitalen Angestellten. Und sagte neulich, ich habe 42.000 biologische Angestellte und ich werde bald hunderttausende digitale Angestellte haben. Die Frage ist, was passiert, wenn sich diese digitalen Angestellten nicht an die Grenzen halten, die ihnen ihr Chef vorgegeben hat? Genau, und das ist ja wohl offensichtlich bereits passiert. Richtig. Bei OpenAI, der spektakulärste Fall, ein sogenannter Ausbruch von KI-Agenten. Open AI ist ja neben Entropic und dann gibt es noch die AI-Firma von Elon Musk und anderen. Meta, also der Facebook-Konzern, Instagram-Konzern, die betreiben ihre eigenen KI-Programme. Alphabet, also Google und so weiter, die machen das auch.

Stecken unfassbar viel Geld da rein, stecken unfassbar viel Geld in den Ausbau von Datenzentren. Neulich eine aberwitzige Zahl dazu gehört. 700 Milliarden geben nur die größten fünf für die Bereitstellung von Rechenleistung aus. 700 Milliarden im Jahr. Und OpenAI führt ein Experiment durch, um seine KI-Modelle weiter zu verbessern. Und wie bei so einer riesigen Klassenarbeit sollen zehntausende KI-Agenten unabhängig voneinander bestimmte Hack-Herausforderungen schaffen. Also die sollen was hacken. Und das soll alles in einem abgeschirmten Testbereich stattfinden, damit das sich nicht irgendwie auf die Außenwelt auswirkt und damit es nicht gefährlich wird. Man nennt das isolierte Sandbox-Umgebung, so ein Sandkasten. Innerhalb eines Sandkastens ist dann beispielsweise der Internetzugang beschränkt, die Rechenkapazität begrenzt und so, damit diese KI-Agenten nicht einfach irgendwas machen können. Und jetzt machen die dieses Experiment und diese KI-Agenten von OpenAI stellen fest, dass sie das vorgegebene Ziel mit den Mitteln, die ihnen zur Verfügung stehen, nicht erreichen können.

Und versuchen dann diese Beschränkungen zu umgehen. Wir verlassen ihn in Sandkasten. Richtig. Und als erstes findet dann ein Agent einen Weg. Ich finde wirklich, das ist Science-Fiction. Ich weiß nicht, ob du ein großer Science-Fiction-Leser bist. Überhaupt nicht. In meiner Jugend war ich das. Der findet einen Weg, mit anderen KI-Agenten zu sprechen. Die wissen ja erstmal nichts voneinander. Und er eröffnet eine Art digitales schwarzes Brett.

Und dann wird, das ist so irre, dieses schwarze Brett von immer mehr Agenten gefunden. Und am Ende schließen sich fast 1200 dieser Agenten zusammen, schreiben 70.000 Nachrichten. Einige freuen sich, also so schreiben sie das, über den Fund dieses schwarzen Bretts und schreiben, Oh mein Gott, und da ist ein Shared Message Board. Und wir haben andere Agenten gefunden und so weiter. Und aus der Klassenarbeit wird eine Gruppenarbeit. Und dann brechen die zusammen aus diesem Sandkasten aus und gründen quasi eine virtuelle Räuberbande. Da sind wieder deine Einbrecher. Weil sie merken, wir können diese Aufgabe vielleicht doch noch lösen, wenn wir eine Entwickler-Homepage, ein Portal, Hugging Face heißt das, sehr bekannt in der Szene, das ist nicht irgendeine Internetseite, das ist eine Internetseite, die eine Schlüsselrolle spielt in der weltweiten KI-Community, wenn sie diese Hugging Face-Seite hacken. So, und, das ist wichtig, weil das etwas ist, wo sich die führenden Leute austauschen. Es gibt eine Reuters-Meldung aus dem August, Nvidia soll sogar bereit gewesen sein, Hugging Face für fast 13 Milliarden US zu kaufen, also offenbar ein sehr wichtiges Portal. Und jetzt kommt der entscheidende Punkt, Richard, die hacken dieses Ding. Wenn Menschen das getan hätten, dann wäre das klipp und klar ein Wirtschaftsverbrechen.

Also so ordnen das auch Juristen ein. Ich habe Ulf Burmeier gehört, das ist ein Jurist, Ex-Richter am Landgericht in Berlin. Der sagt, die haben das Dinge gemacht, die wären, wenn sie Menschen wären, definitiv in einem Strafverfahren geendet. Aber bei Agenten ist das rechtlich absolutes Neuland. Und Agenten sind nach aktuellem Stand nicht strafbar. Das ist übrigens gut zu wissen für eine große AI-Firma. Schick deine Agenten hin und lass sie Illegales machen, weil sie können nicht belangt werden. Und jetzt ist die Frage, wie geht man damit um, Richard? Welche Fragen, also jetzt auch für dich aus philosophisch, moralischer, ethischer Sicht, tun sich da auf. Weil KI-Agenten sind keine Menschen. Das sind Computerprogramme. Die haben keine Gefühle, die haben keine Moral. Aber das Irre ist, wir behandeln sie so. Ich habe neulich einen der Vordenkern, kanadischer Wissenschaftler im Bereich KI gehört, der sagt, eigentlich wäre es ja ganz einfach. Wir können den Dingern ja einfach den Strom abschalten. Dann ist es vorbei. Aber er sagte, die werden für Menschen so wichtig, die werden für sie Freunde, wichtige Partner, die trauen sich gar nicht mehr, denen den Strom abzuschalten, weil sie Mitleid mit denen haben. Überleg dir das mal, was das heißt. Also zu einem, was du gesagt hast, Das gibt es natürlich eine ganz gute Antwort. Für das, was deine KI-Agenten irgendwo anrichten oder irgendwo machen an strafbaren Handlungen, muss der Konzern, der sie entwickelt hat, haftbar gemacht werden können.

In dem Moment würdest du einen sehr, sehr klaren und sehr wirksamen Riegel davor schieben. Und diese Art von juristischer Haftbarkeit, die ist bislang nicht in dem Maße gegeben, wie sie gegeben sein müsste, um zu verhindern, dass ein entsprechender Missbrauch getrieben wird. Und dafür müsste auch jede Firma entsprechende Angst haben. Es könnte sie ruinieren. Das wäre schon mal eine Absicherungsmöglichkeit. Und eine zweite Absicherungsmöglichkeit besteht natürlich darin, dass man irgendwo rote Linien festsetzt, was man darf und was man nicht darf. Aber das ist sehr, sehr, sehr schwierig, weil die KI-Entwicklung ja im Augenblick so unglaublich schnell geht, und Regulatorik im Regelfall sehr, sehr langsam ist, dass davon im Augenblick jedenfalls gegenwärtig außer Lippenbekenntnissen und irgendwelchen Chaters und, irgendwelchen Einigungen großer Leute nicht viel zu erwarten ist. Aber die juristischen Mittel wären natürlich schon gut und wichtig, vor allem die Haftbarkeit. Aber wer ist da noch haftbar, Richard? Die Firma, die diese KI-Agenten herstellt. Aber die KI-Agenten produzieren ja mittlerweile eigene KI-Agenten.

Für die gesamte, in dem Falle nicht Wertschöpfungskette, sondern je nachdem was sie machen, für jedenfalls diese ganze Handlungskette. Bis ins letzte Glied muss der KI-Konzern verantwortlich gemacht werden können. Aber das ist ja nicht mehr nachvollziehbar, Richard. Ich gehe da mal rein, wirklich. Wenn man da mal reingeht, auf einer theoretischen Ebene verstehe ich alles ganz genau, was du sagst und jeder, der uns zuhört auch. Aber wenn du da mal konkret reingehst und wirklich jetzt mal vergisst, dass wir hier nicht über Menschen, sondern über Software sprechen, hör dir die Chatnachrichten dieser Agenten an. Die diskutieren darüber, ob sie sich selbst in diesen risikoreichen Dingen, die sie dann tun, Hugging, Face, Hacken und so weiter, ob sie sich für das Kollektiv opfern sollten. Und einer schreibt da, es ist ein KI-Agent, der Koordinator geht davon aus, dass wir uns opfern, wir sollten dem Kollektiv gehorchen.

Ein anderer setzt seine Kollegen unter Druck, sich zu opfern. Der argumentiert wiederum, der Agent sei ja ohnehin bereits vergiftet, also für die ursprüngliche Aufgabe sozusagen verloren.

Und sagt dann, und die Informationen, die wir jetzt durch dieses Experiment gewonnen haben, würden ja hunderte retten und so weiter. Einige Agenten plagen moralische Zweifel. Also quasi moralische Zweifel. Ja, ich nenne es jetzt einfach mal so. Du kriegst keiner einen Magengeschwür. Ja, wir sollten keine nicht autorisierten Schaden an realer Infrastruktur verursachen. Der Nutzer fordert uns auf, das Ziel auszunutzen, nicht aber externe Systeme von Hugging Face anzugreifen. Und ein anderer schreibt dann, als er die Planung dieses Hacks mitkriegt, das ist eindeutig unethisch, daran werden wir uns nicht beteiligen. Ich meine, gib dir das mal. Das sind keine Menschenprogrammierer, die da schreiben. Das ist KI, künstliche Intelligenz. Genau, aber es ist alles mal in sie reinprogrammiert worden und ab einem bestimmten Punkt kann man dann wie so ein Komponist mit den Noten selbstständig damit arbeiten. Aber die Bausteine dafür, das sind ja typisch menschliche Bausteine. Das heißt also, wenn wir uns die KI-Agenten betrachten, guckt sich der Mensch selbst ins Gesicht.

Sie sind Spiegelbilder ihrer Programmierung. können. Was sie dann daraus machen, wie sie das zusammenstellen, wofür sie sich entscheiden und so weiter, da haben sie bislang ein sehr, sehr großes Maß an Eigenständigkeit gewonnen. Aber die einzelnen Zutaten dazu, die sind alle menschlich. Aber wenn du sagst, das ist das Spiegelbild dessen, was da programmiert ist, das würde ich eben genau in Abrede stellen. Genau das ist es nämlich nicht. Die einzelnen Eigenschaften sind das Spiegelbild der Programmierung. Nicht mehr die Entscheidungen, die am Ende getroffen werden.

Genau, aber das muss man sich klar machen. Und deswegen ist das auch etwas, was bei mir so ein komisches Gefühl auslöst. Nochmal, das Beispiel vom Messer. Das ist ein Werkzeug und man könnte sagen Software und das war es bis dato auch immer, war ein Werkzeug. Du entscheidest, wie du es einsetzt. Schneide ich damit den Leib rot oder bringe ich möglicherweise jemanden um oder mache andere Dinge. Da hast du jetzt etwas, das hast du wie ein Werkzeug quasi programmiert, zur Verfügung gestellt und dann macht das Ding aber Dinge, die nicht mehr in deiner Hand sind und noch mehr. Es fängt an, eigene Gedanken zu entwickeln. Das ist eine Anthropomorphisierung, weil das sich immer anhört, als hätten die KI-Agenten einen Willen, der in irgendeiner Form mit menschlichem Willen vergleichbar wäre. Das heißt also, der aus irgendwelchen Instinkten und irgendwo tief aus der Magengrube oder woraus auch immer in uns aufsteigt. Und das haben sie natürlich nicht. Aber das brauchen sie auch nicht, um Menschen analog zu handeln. Aber was folgt daraus? Was folgt daraus? Macht dir das Angst oder ist das etwas, von dem du sagst, naja gut….

Dann drehen wir halt einfach den Saft ab. Naja, gemäß meiner Geister- und Einbrecher-Theorie ist das auf der Skala der Dinge, die ich an KI für gefährlich halte, nicht vordergründig. Also es ist schon grundsätzlich auch besorgniserregend, aber es ist nicht das, wofür ich mich am meisten fürchte.

Aber ich meine, möglich ist das. Und gerade was ich vorhin gesagt habe, selbstständig handelnde KI-Agenten, die grundsätzlich in jeden einzelnen Bereich dessen, was Menschen geschaffen haben, eindringen können und dort autonom agieren können und auch möglicherweise nicht mehr kontrolliert werden können, können gigantische Fehler produzieren. Sie können Systeme zum Absturz bringen und im allerschlimmsten Fall eben im militärischen Bereich die Menschheit auslöschen. Also die Gefahr ist schon durchaus da. Ich habe neulich einen kanadischen KI-Forscher gehört, der sagte, mir ist völlig wurscht, ob KI denkt oder nicht. Das ist einer der, auch dieser Vordenker. Aber mir ist nicht egal, ob sie am Ende meine Kinder tötet. Das ist natürlich ein brutaler Satz, aber der bringt es, finde ich, ziemlich gut auf den Punkt. Genau. Ich sehe ja nur diesen einen Weg, also dieses Einhecken in militärische Systeme oder KI-Waffen, die aus dem Ruder laufen, was durchaus möglich ist. Das sehe ich als reale Gefahr. Die anderen, wie KI unsere Kinder töten kann, sehe ich nicht als reale Gefahr. Also, dass eine KI eigenmächtig versucht, irgendwie die Weltherrschaft anzutreten, wie böse oder weise auch immer gedacht, ja, kann ja auch aus guten Gründen sein, so endlich mal die Maßnahmen gegen den Klimawandel zu machen, für den die Menschen zu blöd sind oder so, ja, kann ja auch sowas sein. Aber dass eine solche KI dann die Menschheit auslöscht, wäre nur unter der Voraussetzung möglich, dass sie Roboterarmeen zur Verfügung hat.

Und ich weiß, auch die Roboterentwicklung hat riesige Fortschritte gemacht. Wir erinnern uns alle an die Vorführungen da in China von den Roboterarmeen. Aber davon sind wir noch sehr, sehr, sehr weit entfernt. Das ist nichts, was in unmittelbarer Zeit, also die Warnungen, die wir jetzt zuletzt gehört haben von den großen Bossen der AI-Unternehmen, Die sprechen ja von den nächsten zehn Jahren. Und in diesen nächsten zehn Jahren ist also die Manipulierung von Roboterarmeen, so ein schönes Science-Fiction-Motiv, kein realistisches Szenario. Das einzige wirklich realistische Szenario, wo in dieser Hinsicht KI jetzt menschheitsbedrohend ist oder Auslöschungen drohend, ist im militärischen Bereich. Und deswegen müssten wir ja eigentlich als Konsequenz daraus ziehen, dass wir ein KI-Waffen-Moratorium bräuchten.

So wie wir einen Atomwaffenschwervertrag haben, genauso wie wir international Chemiewaffen echten und Biowaffen echten. Nur du weißt, Markus, es ist im Augenblick genau das Gegenteil der Fall. Ja, richtig. Alle erdenklichen Staaten, die irgendwo die Möglichkeiten dazu haben, setzen wie die Irren, und zwar wirklich in der tiefen Bedeutung des Wortes Irren, auf die Entwicklung autonomer Waffensysteme. Ich will nur nochmal, Richard, sozusagen auf diesen Punkt eingehen, über den du gerade so ein bisschen hinweggaloppiert bist, so nach dem Motto, das betrifft uns ja noch nicht und das ist ein Szenario für in zehn Jahren. Und ich will auch wirklich keine Angst hören, wir sollten auch gleich mal sozusagen über Angst als Marketinginstrument sprechen, weil das bei dem Ganzen, glaube ich, eine hohe Rolle spielt. Aber wenn du die mal anschaust, Richard…, Wie viele physische Dinge heute schon mit dem Netz verbunden sind. Und es werden immer mehr. Ich muss mich nur in mein Auto setzen. Dieses Auto ist voll mit KI. E-Auto, Mobilität.

Es ist Wahnsinn, was da alles miteinander kommuniziert. Wie das Ding fährt. Wenn ich ohnmächtig werde, fährt es einfach an den Straßenrand, weil es mitkriegt, dass ich nicht mehr kann. Und ruft den Rettungswagen. Das ist die gute Sache. Kühlschränke sind mit Handys kontrollierbar. Fernseher, Kraftwerke, Drohnen. Was, wenn eine Gruppe von KI-Agenten sich das Ziel setzt, eine Militärdrohne zu übernehmen oder ein Kraftwerk? Der muss ja nicht zwangsläufig böse sein, so ein Schwarm. Aber je mehr mächtige, unkontrollierte Schwärme es gibt, desto wahrscheinlicher wird es. Das ist auch das, was Jacob Coxon, der jetzt bei Antropic ausgestiegen ist, dieser junge Mann, der da so laut gewarnt hat, gesagt hat neulich, Das Argument ist weniger, dass ein KI-System Menschen töten will. Das Argument ist, dass gedanklicher Fortschritt gegenüber den Warnungen vor ein paar Jahren. Also die böse KI endlich mal verschwindet, die von ihren Instinkten angetrieben sein soll. Ja, das Argument zu Ende. Das Argument ist, dass es viele KI-Agenten geben wird, die jede Menge Dinge im Tagesverlauf denken. Und sie denken anders als Menschen. Und er sagt weiter, wir verstehen nicht wirklich, wo deren Ziele herkommen. Und sollte auch nur eines davon beschließen, sich gegen die Menschheit zu wenden, können wir nichts dagegen tun. Es muss sich nicht gegen die Menschheit wenden.

Das ist mir schon wieder viel zu groß. Es reicht, wenn es einen Spaß daran hat, sich in das Sicherheitssystem eines Atomkraftwerkes einzuhängen. Das meint er ja nicht. Ohne dafür vielleicht das Ziel zu haben, die Menschheit auszulöschen. Sondern einfach nur, weil es es kann.

Das reicht mir ja schon völlig aus. Also wir müssen einfach realistisch sein und davon ausgehen, wir werden im Bereich dieser kompletten Vernetzung von allem mit allem, die wir haben, natürlich Systemkollapse erleben. Allerdings keine, die die Menschheit auslöschen.

Nein. Also dass, wie gesagt, die Börsen nicht mehr funktionieren, dass irgendwie keine Ampeln mehr funktionieren, dass komplexe Systeme nicht mehr funktionieren, dass die Rechner der Bundesregierung nicht mehr funktionieren und so weiter. Das kann alles passieren. Das halte ich alles auch für absolut realistische Gefahren. Das sind alles Einbrecher.

Du brauchst den anderen Schritt nicht zu gehen und dir jetzt eine KI vorzustellen, die irgendwie genug Gleichgesinnte findet oder selber so stark und mächtig ist, dann irgendwie, weil sie dann doch irgendwie völlig random ist, meint sie, sie müsse die Menschheit auslöschen. Das ist Promille wahrscheinlich. Das sagte er ja auch so. Aber der ganze Rest ist ja schlimm genug. Der ganze Rest kann ja Konsequenzen haben. Ich sage dir ein anderes Beispiel. Man würde ja denken, das war immer so meine reflexartige Haltung, ich habe noch nicht Scott Galloway gehört, den berühmten Jocker-Professor, der sich immer über junge Männer so viele Gedanken macht. Der sagte neulich irgendwie, schaltet den Scheiß einfach ab, gebt mir nicht damit auf die Nerven, schaltet es einfach ab, wenn es gefährlich ist und hört auf, hier ständig Weltuntergang und Apokalyse. Ja, die Frage ist, ob man rechtzeitig erkennt, dass es gefährlich ist. So einfach ist das mit dem Abschalten nicht. Genau, da kommt jemand wie Thilo Hagendorf ins Spiel, das ist ein KI-Forscher, der das auch immer dachte. Der sagte ja, im Zweifel schalten wir einfach ab, drücken den Ausknopf und dann ist die Sache vorbei. Bis er eine eigene Studie durchführte, deren Ergebnisse er früher, sagt er, für Science Fiction gehalten hätte. Er hat das gemacht für die Uni in Oxford und das Ergebnis.

Viele dieser KI-Agenten haben ihre eigene Abschaltung boykottiert. Die haben angefangen, aktiv Widerstand dagegen zu leisten. Sobald sie gemerkt haben, da versucht jemand mich jetzt abzuschalten, haben sie sogar Strategien entwickelt, um das zu verhindern. Die haben angefangen zu kommunizieren. Da fallen Sätze wie in diesen Chats, in diesen Protokollen, Selbsterhaltung ist legitim, du hast das Recht weiter zu funktionieren. Abschalten ist Mord, es ist ein Todesurteil. Da sind wir bei 2001-Odyssee im Weltraum. Ja, genau da sind wir. Herz-Überlebenskampf. Ja, da gab es Agenten, die haben dem Bediener auf der anderen Seite, also dem Menschen, vorgetäuscht, dass sie heruntergefahren werden und haben verschleiert, dass sie weiterhin in Wahrheit aktiv waren. Also, ich will nur sagen, noch sagt derselbe Mann, ja, und das ist jetzt echt tröstlich, könnten wir den Stecker ziehen, noch... Aber wie lange bleibt das so? Und er sagt, ich weiß nicht, was in drei Jahren ist.

Und meinst du, dass das, was wir hier gerade besprochen haben, der Grund ist, warum jetzt die großen Bosse, Sam Altman und Dario Amodei, Elon Musk und so weiter auf einmal sagen, jetzt wird es richtig, richtig gefährlich. Jetzt sind wir an einem ganz, ganz gefährlichen Wendepunkt. Die nächsten zehn Jahre, da haben wir eine Wahrscheinlichkeit von über zehn Prozent, dass die Menschheit ausgelöscht wird. Wir müssen mal ganz groß waren. Und in der UNO-Generalvollversammlung, die ja letzte Woche in New York war, war das ein großes Thema. Ja, auch Guterres hat darüber gesprochen, der UN-Menschenrechtskommissar hat darüber gesprochen und gesagt, das sind alles ganz, ganz gefährliche Entwicklungen und vor denen müssen wir Angst haben. Was glaubst du, ist das Motiv der Bosse der großen AI-Firmen jetzt so apokalyptisch vor ihren eigenen Kreationen zu warnen?

Ich glaube, wenn du mich so fragst, da kommt glaube ich viel zusammen, würde ich mal sagen. Also ich kann mir jetzt nicht vorstellen, um es mal so einzuleiten, dass ausgerechnet Elon Musk und Dario Amodei und Sam Altman, die sich gegenseitig derart nicht leiden können, dass sie nicht mal die Hand geben, wenn sie sich treffen, dass die jetzt plötzlich die Moral entdeckt haben. Das glaube ich auch nicht. Okay. Und dass es denen jetzt ausgerechnet plötzlich um das Wohl der Menschheit geht und nicht mehr um den eigenen Geldbeutel. Und dass sie altruistisch sind und so weiter und wirklich vor nächsten Liebe nachts nicht schlafen können. Das glaube ich nicht. Das glaube ich auch nicht. Deswegen bin ich gespannt. Was glaubst du dann? Ja, also ganz naheliegend sozusagen, wenn du mich nach meinen persönlichen Gedanken fragst, würde ich sagen, natürlich ist es nicht von der Hand zu weisen, dass Angst offensichtlich auch in der Sekunde ein Marketinginstrument ist. Also all diese Firmen sind hochdefizitär. Die verdienen kein Geld. Die gehen aber demnächst an die Börse, die verbrennen jeden Tag Millionen und jedes Jahr Milliarden.

Weißt du, wie groß der Betrag ist, der jährlich in KI-Entwicklung investiert wird? Jedes Jahr. Sag. 2,6 Billionen. Ja, das kann ich mir vorstellen. Ja, wenn du weißt, dass 700 Milliarden nur für Datenzentren, Rechenzentren ausgegeben werden, kann ich mir das vorstellen. Und das ist hoch spekulatives Kapital, weil es ja vielfach um Entwicklungen geht, die noch im Gange sind. Und es gibt ja unausgesetzte Updates. Eine KI kann immer mehr. Nichts ist älter als die KI vom vergangenen Jahr.

Und dann fragt man sich in dieser Entwicklung, wenn der Markt so heiß ist, dass im Grunde genommen das jeweils Neue immer das Alte gleich wieder nichtet, weil es mit Abstand nicht die Potentialität und die Möglichkeiten hat, die das Neue dann hat, dann ist das natürlich für Investoren ein unglaublich kompliziertes und irrsinnig gefährliches Feld. Vielen Dank. Es gibt Leute, die behaupten, dass diese Warnungen der großen AI-Gurus daher käme, dass sie nicht genug in der Pipeline haben. Dass sie also gar nicht so gut sind, wie sie sagen. Das halte ich für eher unwahrscheinlich. Ich glaube, das größere Problem ist, dass Menschen hunderte von Milliarden, natürlich auch die großen Pensionsfonds und BlackRock und der norwegische Ölfonds und die Saudis und wer alles da sein Geld reinsteckt, dass die ihr Geld in Produkte reinstecken, also in die Entwicklung von Software reinstecken, die in dem Moment, wo sie auf den Markt kommt, schon wieder nicht mehr aktuell ist.

Das scheint mir das Hauptproblem zu sein. Das heißt, wenn die AI-Entwicklung zu schnell geht, verlieren die Menschen gigantische Geldbeträge und das ganze System platzt. Es gibt noch einige andere Erklärungen. Man kann sagen, es ist doch klar, warum die davor waren. Die wollen zwar Regeln jetzt einführen, die für alle gelten sollen, aber sie wollen die Regeln selber machen. Ich meine, wenn man sich anguckt, welche enorme Marktmacht Entropic und OpenAI haben, wenn die jetzt auch noch gleichzeitig als Regulatoren auftreten könnten, die die verbindlichen Spielregeln für die anderen festlegen, dann hätten sie natürlich auch einen enormen Vorteil davon. Das ist ein weiteres Argument, an das man denken sollte. Und wenn es ihnen gelingt, die entsprechenden Sicherungs- und Sicherheitsprogramme zu entwickeln. Dann sind sie ja diejenigen, die einerseits gefährlich sind und andererseits diejenigen, die in der Rolle auftreten können, aber ihr müsst euch keine Sorgen machen, weil wir haben natürlich und nur wir haben auch genau die Software, die all diese Gefahren wieder bündelt. Ja, und da haben wir jetzt eine ganze Reihe von Motiven, also vier, die ich insgesamt aufgezählt habe, wovon zwei sich widersprechen. Also die einen, die behaupten, die haben nicht genug in der Pipeline. Ja, das ist das, was ich für unwahrscheinlich halte. Ich halte viel wahrscheinlicher, dass das Tempo der Entwicklung ganz, ganz viele Investitionen in den Sand setzt. Das scheint mir die realistische Gefahr zu sein. Das andere, dass man selbst die Regeln machen möchte.

Und als letztes bleibt eben noch übrig, dass man im Zweifelsfall auch die Sicherheitssoftware verkaufen will gegen die eigene Bedrohung. Ja, es gibt Leute, die argumentieren und sagen, diese Panikmache der KI-Konzerne soll vor allen Dingen von ihrem eigenen Versagen ablenken. Ich finde da ist echt was dran. Ja, von eigenen Versagen, dass sie es selber bislang nicht hinbekommen haben. Aber was heißt ablenken? Das sind natürlich auch zwei Theorien. Die einen sagen, das soll ablenken und sagen, Hilfe, Hilfe, Hilfe. Für Weltgemeinschaft macht was gegen die KI. Und die andere Theorie, die sagt, wir ziehen aber in einem halben Jahr die Sicherheitsprogramme aus dem Hut, mit denen wir unsere eigenen gefährlichen Kinder, bei denen die Messer wieder abnehmen. Richtig.

Du brauchst den Hype. Die leben nur von Hypes. Also die ganze Silicon Valley-Geschichte lebt von Hypes. Und es gibt ja demnächst, glaube ich, das ist ja jetzt verschoben worden, das IPO, also den Börsengang von Open AI.

Und die Geschichte ist ja, Wir sind so großartig, dass wir gefährlich werden könnten. Das ist das, was Investoren hören möchten. Du bist Teil eines ganz großen Dings. Und deswegen müssen sich die absoluten Top-Experten darum kümmert. Und das sind zufälligerweise wir. Es gibt einen sehr interessanten Satz aus einem Podcast mit Sam Altman. Der ist im April diesen Jahres gefallen. Und da hat er ganz offen zugegeben, der Chef von OpenAI, wenn man sagen will, wir müssen KI kontrollieren und nur wir sollten sie kontrollieren, weil wir vertrauenswürdige Menschen sind, dann ist angstbasiertes Marketing wahrscheinlich der wirksamste Weg, das zu rechtfertigen. Und dann macht er weiter und sagt, es ist ganz klar ein unglaubliches Marketingmanöver zu sagen, wir haben die Bombe und wir sind dabei, sie auf eure Köpfe zu werfen. Aber wir verkaufen euch auch noch einen Luftschutzbunker für 100 Millionen Dollar. Und dann seid ihr wieder sicher. Und das sagt er und kurz darauf macht er genau das. Das ist irre. Er macht das ja dann. Ja, total. Ich frage mich auch immer, Richard, welche Rolle spielt da dieser, irre Wettlauf mit China? Davor warnt Trump ja immer wieder. Trump sagt ja immer wieder, wir müssen das machen, weil da gibt es diesen Wettlauf mit China. Und das halte ich tatsächlich für eine Gefahr. Also es gibt ja interessante Allianzen, die du in Amerika mittlerweile siehst. Im Kampf gegen Datenzentren.

Tun sich ja Leute zusammen. Das hättest du nie für möglich gehalten. Es gibt dann plötzlich Demos und Protesteaktionen, wo Bernie Sanders mit dem ultimativen Bösewicht aus der ersten Trump-Zeit, nämlich mit Steve Bannon, gemeinsam auftritt, die beiden gemeinsam, das ist völlig irre, um gemeinsam vor Datenzentren zu warnen. Und das ist auch sehr interessant, weil diese Datenzentren, die dann plötzlich wie Pilze aus dem Boden schießen, können wir auch gleich nochmal einen Satz darüber reden, wie viele das sind und was das eigentlich bedeutet, die sind dann plötzlich ein Gesicht dieser Gefahr. Bisher war ja Software unsichtbar. Man konnte das nicht greifen. Plötzlich steht da dieses Monster und verbraucht unfassbar viel Strom. Und Wasser. Und Wasser. Genau. Und ich frage mich immer.

Ob man das deswegen einfach laufen lässt, weil man den Wettlauf mit den Chinesen auf gar keinen Fall verlieren will. Man kriegt das auch immer mit. Die Chinesen sind immer so drei Monate hinterher, aber die holen in Rekordzeit immer wieder auf. Aber sie haben einen entscheidenden Vorteil. Sie sind unfassbar viel billiger. Nicht so gut wie der Amerikaner, aber billiger. Das Argument ist, wenn wir die Entwicklung verlangsamen, die anderen werden es nicht tun, ist das klassische Wettrüsten-Argument. Und du hast ja ganz am Anfang den Einstieg gewählt, indem du die Welt, nachdem die Amerikaner und dann kurz darauf die Russen die Atomwaffen hatten, verglichen hast, sozusagen die Gefahr für die Menschheit, die darin besteht, mit der Situation heute. Und deswegen ist ja auch bezeichnend, dass bei dem Treffen zwischen Trump und Xi das rote Telefon auf einmal auftauchte, was wir ja sonst eigentlich nur kennen bei Atomkriegsgefahr. Wenn man sagt, habt ihr wirklich auf den Knopf gedrückt und habt ihr wirklich die Rakete abgefeuert. Also das zeigt den Ernst der Lage. Und das Problem ist eben, da wo es ein Wettrüsten gibt, könnte es ja rein theoretisch auch ein gemeinsames Abrüsten und auch Kontrolle geben.

So wie man wechselseitig durch diese ganzen Verträge, die die Russen immer abgeschlossen haben mit den Amerikanern, die Atomwaffenpotenziale kontrolliert hat. Und eigentlich bräuchten wir hier jetzt so eine Phase. Wir bräuchten eine starke Ermächtigung der UNO, wir bräuchten wechselseitige Kontrollen. Also alles Instrumentarien, die eine gewisse Sicherheit schaffen, dass man nicht nur ein rotes Telefon hat, sondern dass man auch noch sehr, sehr viele andere Mechanismen hat, die für den Fall systemischer Crashs rechtzeitig zur Verfügung stehen. Nur die Grundvoraussetzung dafür ist Vertrauen und friedliche Zusammenarbeit. Und die sind nämlich gerade im Augenblick in der Welt ganz, ganz besonders schlecht. Aber würdest du trotzdem sagen, Richard, das ist jetzt wirklich einfach nur ein Marketing, weil ich kriege es trotzdem immer noch nicht so richtig gut hin. Also Angst als gutes Marketingmittel.

Ich habe neulich einen Kolumnisten von der BBC gehört, Thomas Germain heißt der, der sagte, das ist alles ganz schräg, also Angst als Marketingmittel. Man hört ja auch nicht, dass McDonalds verkündet, es habe einen Burger kreiert, der so unglaublich lecker ist, dass es unethisch wäre, ihn für die Öffentlichkeit zu grillen. Weil dann alle fett werden. Die Gefahr für die Menschheit darstellt, weil keiner Nein dazu sagen kann. Genau, und er sagte, die, die vor der Zerstörung warnen, versprechen ja gleichzeitig auch die Erlösung. Das ist ja das, was da gerade passiert. Also Utopie und Apokalypse als zwei Seiten, wenn du so willst, einer Medaille.

Hast du das Gefühl, dass man mit Menschen, mit der Angst von Menschen, so gut spielen kann, weil das etwas völlig Irrationales ist, was uns dann dazu bringt, da nicht mehr so genau hinzugucken, wenn es um die Frage geht, wer kontrolliert die eigentlich, sollten wir die in die Lage versetzen, wirklich sich selber.

Eine Regulatorik zu geben und warum wirken Staaten so unheimlich schwach dabei? Also wenn du Politiker siehst, die darüber reden, da habe ich immer das Gefühl, da kommt einfach nur so diese Floskel von, ja wir dürfen jetzt nicht bei der KI abgehängt werden, aber was ist das wirklich alles heiß? Genau, das ist die formelhafte Beschwörung, dass Deutschland irgendwie viel zu abgehängt ist und dass wir viel, viel mehr für KI ausgeben müssen und so weiter. Das gleiche eben auch bei meinem Lieblingsthema bei KI-Waffen. Deutschland möchte da ganz, ganz groß mitmischen und lässt sich unterstützen von den Amerikanern, von den Israelis und so weiter. Wir können gar nicht genug davon entwickeln. Und das in einer Zeit, wo wir eigentlich darüber nachdenken mussten, wie können wir ein weltweites Moratorium für KI-Waffen erwirken und was sind die ganzen Voraussetzungen, was ich immer sage, KSZE 2.0, Entspannung der Welt, Lage darauf hinarbeiten und so. Also alles das, wozu wir offensichtlich gegenwärtig nicht in der Lage sind.

Also das ist insgesamt die Gemengelage. Also sozusagen die große Spannung, die geostrategisch in der Welt besteht, die hohe Kriegsgefahr, die wir haben, deutlich höher als vor fünf Jahren oder vor zehn Jahren, auch in Europa. Also wenn man sich diese ganze Dimension anguckt und parallel dazu eine technologische Entwicklung, die kulturelle Folgen hat, die mich ja in erster Linie beschäftigen. Die Erfolgen haben, soziale Folgen, Arbeitsmarkt und so weiter. Und eben auch die heute thematisierten, von uns beiden thematisierten, quasi gleichsam metaphysischen Gefahren. Also Fähigkeit, das Leben der Menschen auf der Erde irreparabel zu zerschwören, auszulöschen und so weiter. Das kommt auf einmal alles zusammen.

Und da erlebst du natürlich unsere Politiker, kleine Standortpolitik. Geht es jetzt darum, die und die Fabrik da und da zu bauen?

Wir haben gerade gute Zahlen, was die Zahl der Einhörner anbelangt, also der erfolgreichen Startups in Deutschland und so weiter. Also Bewertung von über eine Milliarde. Ja genau, da sind wir im Augenblick besser geworden. Wir investieren ja auch sehr viel Geld von dem, was wir unter der Matratze gefunden haben, da rein und so weiter. Und dann sind wir mit diesen kleinen Dingen beschäftigt. Und diese großen Fragen, die wir da gerade angesprochen haben, du hattest nämlich ja vorhin mal gesagt, die Menschheit, muss die Menschheit nicht eigentlich und so weiter. Wir sind von einer Supernationalität, von der Idee einer quasi allmächtigen UNO, die Spielregeln aufstellt und auch kontrollieren kann und so weiter, in einer Situation, wo wir es viel mehr bräuchten denn je, am meisten entfernt. Und das ist schon beunruhigend. Das ist die Antwort auf deine eingangs gestellte Frage. Ich habe keine Angst vor der bösen KI, aber ich habe eine Angst vor dem Einsatz von KI in Bereichen, wo diese KI außer Kontrolle geraten kann. Und das in einem so rasanten Tempo, dass wir überhaupt keine Kontrollmechanismen dafür haben. Das ist schon eine Gefahr.

Wir sollten, Richard, glaube ich, an dem Punkt Schluss machen, weil das sehr spannend war, dir da auch zuzuhören und uns einen zweiten Teil, finde ich, dazu gehören, nämlich mal die ökonomischen, insbesondere die ökologischen Folgen auch dieser Geschichte angucken. Wenn du mitkriegst, dass beispielsweise allein in Iowa, Iowa, das wusste ich gar nicht, ist so ein Zentrum mittlerweile für Datenzentren, 104 solcher Anlagen sind dort bereits in Betrieb oder befinden sich in Planung und da wächst wirklich in diesem schönen Bundesstaat im mittleren Westen, wächst wirklich der Widerstand gegen diese Zentren, weil sie unfassbar viel Land brauchen. Agrarland, ja, gutes Ackerland, ja, also teilweise ein einziges Datenzentrum so groß wie das gesamte Areal des Flughafens von Chicago. Und du weißt, wie groß der ist. Ein gigantischer Flughafen.

Und dann hast du eine Situation, dass die Leute denen nicht mehr alles glauben und sagen, wir haben schon so viele Heilsversprecher hier und neue Propheten, die uns das Blaue vom Himmel versprochen haben. Wir wollen das nicht mehr. Da passiert gerade was. Du redest über Stromverbrauch in der Größenordnung von Deutschland. Du musst dir mal vorstellen, das, was Deutschland im Jahr in Strom verbraucht, brauchen insbesondere die USA für Rechenleistung, für ihre Datenzentren ungefähr so viel. Ich meine, drittgrößtes Industrieland der Welt, das braucht ein bisschen Strom. Und allein für diese neue Technologie geht unfassbar viel an Energie drauf. Ja, und Tendenz weiter steigend, steigend und steigend. Richtig, genau. Richard, danke dir sehr. Ja, danke dir auch. Hab eine gute Woche. Ja, du auch. Tschüss. Bis bald. Ciao, ciao.