KI-Pionier Hochreiter: "Die KI-Entwickler bei mir drehen gerade durch"

Herr Professor, Sie wirken gespannt wie Ingenieure kurz vor einem Raketenstart. Sie sind auch am Beginn einer großen Mission. Welche "Rakete" haben Sie gebaut?

Das Ding heißt xLSTM. Ich habe die Vorgängertechnologie von ChatGPT entwickelt (LSTM, Anm.) und war auch jetzt immer nahe dran an den führenden Entwicklern dieser künstlichen Intelligenz von OpenAI. Und ich habe gesehen, wie man das besser zusammenfügen kann. In dem Sinne, dass das nächste Wort besser vorhergesagt wird und so auch bessere Texte generiert werden. Und zweitens: xLSTM ist schneller und kommt mit weniger Computerleistung aus.

Klingt vielversprechend. Wie kam es dazu, dass Sie Ihre Grundlagenforschung neu aufsetzen und in wissenschaftlichen Wettstreit gehen?

Zu Jahresanfang hatten wir die Idee und erreichten sofort das Niveau von GPT2 (aktuell gibt es GPT4, Anm.). Ich bin seit 30 Jahren im Geschäft, aber das habe ich noch nie erlebt. Wir schlagen diese Transformer-Technologie in jedem Datensatz. Noch sind es kleine Datensätze, aber wir sind immer schneller. Wir gehen jetzt auf größere Modelle. Wenn die Leute unsere Technologie verwenden, schießen wir GPT4, das Microsoft, Meta oder Google haben, vom Feld. Falls man genügend Compute (Rechenleistung, Anm.) hat.

Für diese Rechenleistung braucht es aber viel Geld. Wo bekommen Sie die nötigen Mittel her?

Wir haben bereits erste Gelder eingeworben, um zu zeigen, dass diese Scaling Laws, also die Annahmen bei den Parametern, stimmen, dass wir auch bei großen Datenmengen immer besser sind als Microsoft & Co. Es ist unglaublich, was gerade passiert. Alle in der Science-Community reden von dieser Schwachsinnsmethode ChatGPT, die gerade draußen ist und so populär wurde - einfach weil sie im Training so schnell ist. Wir haben hier schon die besseren Sachen.

Da drüben (Hochreiter deutet zum Nebenraum) drehen meine Entwickler gerade durch, weil wir besser sind. Aber sie dürfen die Methode noch nicht publizieren, weil ich vorher die IP-Rechte klären und vor allem eine Firma gründen will. Ich möchte unbedingt, dass diese Technologie in Österreich, in Europa bleibt.

Wie viel Geld würden Sie dafür brauchen?

300 Millionen Euro, wobei die peu à peu kommen müssten. Denn selbst wenn die als Einmalzahlung auf unserem Konto wären, könnten wir nichts damit anfangen. Wir haben gerade mit Nvidia (wichtigster Produzent von KI-Prozessoren, Anm.) verhandelt, die haben Lieferzeiten von acht Monaten. Dann haben wir mit Amazon gesprochen. Aber es ist ganz schwer, an diese Hardware heranzukommen.

Das Zweite ist, wir brauchen Software Engineers, die auf diesen Prozessoren arbeiten können. Das Programm muss adaptiert werden für genau diese Grafikkarten. Solche Leute sind extrem gefragt, die möchten auch Google und Meta haben. Und selbst wenn schon alles da wäre, würden wir schrittweise vorgehen, also immer größere Modelle laufen lassen, die am Ende Hunderte Millionen kosten.

Für GPT3 sind 24.000 GPUs (Prozessoren, Anm.) mehrere Monate gelaufen. Wenn man das ausrechnet, mit Kühlung und Strom, sind das allein das 100 Millionen Euro.

Solche Summen werden Sie von der öffentlichen Hand in Österreich nicht bekommen. Woher dann?

Nein, der Staat wird gar nichts geben. Das können nur private Gelder sein. Der Staat ist auch zu langsam und hat sich nicht interessiert. Mir wurde ganz klar gesagt: "Warten Sie bitte auf die nächste Regierung." Ich war vielleicht zu lange zu optimistisch. Ich habe mir gedacht, auch Österreich müsste erkennen, dass KI eine ganz große Sache ist, aber in Wien merkt man das noch nicht so.

Sie haben Angebote aus der ganzen Welt, die in manchen Belangen unverschämt verlockend sind. Was lässt Sie zögern?

Ich habe Angebote aus Saudi-Arabien oder aus China. Huawei hat mich gerade kontaktiert, die wollen da reingehen. Ich möchte xLSTM aber erst einmal hier behalten. Ich muss erst konsolidieren, wie gesagt die IP-Rechte und die Finanzierung sicherstellen.

Ist nicht Schnelligkeit in der aktuellen Situation ein Gebot der Stunde? Wir sprechen hier vermutlich eher von Wochen als von Monaten. Wie viel Zeit geben Sie sich?

Es werden mehr und mehr Papers (Forschungsarbeiten, Anm.) publiziert, die in unsere Nähe kommen. Andere Forschungsteams begeben sich auch auf die Suche nach Alternativen. Sie haben recht, es geht um Wochen.

ChatGPT hat die Welt im Sturm erobert. Wie hat dieser Hype Ihr Leben und Ihre Arbeit verändert?

ChatGPT selbst hat mich nicht überrascht. So etwas war auch aufgrund der Vorgängermodelle schon lange Bestandteil meiner Vorlesungen. Was mich überrascht hat, war, wie es eingeschlagen hat in der Bevölkerung. Jeder weiß, außer vielleicht in Wien, dass KI ein Thema ist.

Und es werden noch ganz andere Dinge kommen. Vielleicht sieht man deren Wirkung nicht so deutlich wie bei ChatGPT, aber es ist noch viel möglich. Die Awareness ist riesig. Ich bekomme viel mehr Medienanfragen, es wird aber auch viel mehr Unsinn verbreitet. Auch wie mich die Universität sieht, hat sich geändert (Hochreiter ist seit 2006 an der Linzer JKU, Anm.).

Wir sind mit dem KI-Studium an der Grenze unserer Möglichkeiten, können uns vor Bewerbern kaum retten. Der deutsche Kanzler Olaf Scholz hat mir was angeboten. Das wäre früher wohl nicht so gewesen. Man wird von allen Seiten bestürmt. Das Aussortieren dieser ganzen Begehrlichkeiten kostet sehr viel Zeit.

Die künstliche Intelligenz ist zu einem Riesenmarkt geworden, für Berater und Dienstleister. Die Angst davor dient auch dem Marketing. Menschen lernen Befehle zur Verwendung von KI ...

Die künftig ganz anders aussehen wird. Bei xLSTM kann man direkt das Gedächtnis modifizieren und braucht keinen Befehl. Und ja, Angst-und Untergangsszenarien werden gern bespielt. Spannend ist, wer das tut. Das KI-Moratorium haben vor allem OpenAI und Microsoft gefordert, die eigentlich meinen: "Ihr Unis könnt aufhören zu forschen!"

Nach außen haben sie einen Stopp gefordert, intern wird weitergerechnet. Und die Warnung von Geoffrey Hinton war auch übertrieben ängstlich. Wer jetzt die Auslöschung der Menschheit befürchtet, läuft Gefahr, zu übersehen, was an der KI wirklich gefährlich ist: etwa die Beeinflussung von Wahlen, die Gefahr der Bildung von Blasen und dass mein Handy mir nur mehr die Information gibt, die ich hören will. Das sind viel konkretere Szenarien.

Im Dual-Use-Dilemma: Die bösen Anwendungen sind genauso schnell da wie die guten. Was, glauben Sie, macht den Menschen mehr Angst: das Tempo der Veränderungen oder die Technologie an sich?

Ein Szenario, in dem KI so gefährlich werden könnte, dass sie uns auslöscht, ist noch nicht einmal greifbar. Angstmache und diese dystopischen Szenarien wurden durch den Hype ausgelöst. Früher konnte ich mich auf meine technischen Sachen konzentrieren, jetzt muss ich ethische Debatten führen. Ich kann gut KI bauen und kann auch sagen, was gefährlich daran ist und was man falsch machen kann.

Gesellschaftliche Entscheidungen kann ich nicht treffen. Ich muss ohnehin viel Aufklärungsarbeit machen. Ich habe im Vorfeld des Artificial Intelligence Act mit EU-Parlamentariern hin und her geschrieben, weil viele gar keine Ahnung hatten.

Dieser KI-Act ist zwar nicht Ihre Baustelle, doch Sie haben sicher auch Anregungen dazu. Wie beurteilen Sie den aktuellen Stand?

Teilweise ist das ein schwieriges Thema. Nehmen Sie die Gesichtserkennung: Wenn ich die mit normaler Software mache, ist es gut, mit KI hingegen schlecht? Die Finnen haben zwar einige Sachen korrigiert, die nicht gut waren.

Aber die EU ist ja nicht einmal einig, welche KI-Methoden sie überhaupt regulieren möchte. Die größte Gefahr, die ich sehe, hatten wir auch bei der Datenschutz-Grundverordnung schon: die Rechtsunsicherheit. Bei uns blieb deswegen ein Projekt mit BMW monatelang liegen. Wie sich herausstellte, war die Sache unproblematisch, weil es sich um Forschung handelte, aber die Rechtsabteilung hatte ihre Zweifel.

Solche Gefahrenabstufungen haben zur Folge, dass die Unternehmen nicht wissen, wie sie sich verhalten sollen.

OpenAI und Meta haben schon ihre Rechtsabteilungen, die ihre Interessen durchfechten. Wenn ich aber die lokalen Firmen wegen Rechtsunsicherheiten lahmlege, ist das schlimm. Man muss die Regeln klarmachen, damit Unternehmen und Start-ups die KI verwenden und sich nicht davor scheuen, weil sie Angst haben.

Lassen Sie uns über die Industrien sprechen, für die Sie spannende Modelle haben. Ein Hydrologiemodell von Google basiert auf Ihrer Arbeit, und der heimische Stromkonzern Verbund lizenziert es über die USA, obwohl es vor der Haustür entstanden ist. Sind die Europäer zu langsam?

Die von der US-Regierung offiziell verwendete Methode, um Fluten vorherzusagen, basiert auf unseren Modellen, ebenso in Kanada und Israel. Die haben das viel schneller angenommen.

Jetzt wurden die entsprechenden Mitarbeiter von Google aufgekauft. Und Google macht eine App daraus.

Wir wollten die Technologie für den Klimawandel einsetzen. Welche Pflanzen halten wie das Wasser? Wie schnell schmilzt der Gletscher? Wie viel Wasser wird im Boden gehalten? All diese Sachen sind dort drin. Was würde passieren, wenn es in Österreich ein, zwei Grad wärmer wäre? Wie würde man Flussläufe ändern?

Sie loben immer wieder Amsterdam für eine funktionierende Partnerschaft zwischen Industrie und Forschung. Was läuft dort besser?

Das Amsterdam-Modell funktioniert so, dass ein Konzern eine Forschungsgruppe finanziert, die assoziiert mit der Firma ist, aber volle Freiheit hat.

Qualcomm etwa war damit supererfolgreich. Würde der Verbund eine Forschungsgruppe finanzieren, könnte diese auf Basis neuester Technologien mit den Daten arbeiten, und der Verbund würde die Ergebnisse dann wieder einsammeln. Nur so funktioniert's.

Die Verbund-Leute wissen nicht, wie die neuesten Technologien ausschauen. Die wissen nicht, was KI kann.

Wir in der Forschung haben gewusst, dass ChatGPT kommt, aber keine Firma ist gekommen und hat gesagt: "Schaut euch das einmal an."

Früher gab es physikalische Modelle, die haben sich langsamer entwickelt. Jetzt entsteht Technologie so schnell, dass die Firmen nicht mehr mitbekommen, was wir können.

Mit welchen Unternehmen kooperieren Sie zurzeit?

Wir sprechen mit vielen. Ein großes Projekt haben wir mit dem Maschinenbauer Trumpf laufen, eines mit dem Kunststoffproduzenten Borealis. Auch mit TGW Logistics arbeiten wir. In der Energiewirtschaft gibt es spannende Projekte. Die Manager dort sind gerade im Tagesgeschäft, Stichwort Gasversorgung, so gefordert, dass sie sich um KI nicht so viele Gedanken machen können. Wir tun das.

Gesetzt den Fall, Sie treiben die 300 Millionen Euro für die neue xLSTM-Technologie auf: Wie könnte das konkrete Produkt oder Geschäftsmodell aussehen?

Da sind mehrere Szenarien denkbar, eine Frage des Feintunings. Gehen wir in Richtung Chatbot? Wir haben im Ellis- Network (europäisches KI-Forschernetzwerk, Anm.) ganz viele Studenten in Europa, die uns helfen würden.
Bei ChatGPT ist es momentan so, dass es auf der englischen Sprache aufbaut.
Auch die Ethik ist amerikanisch, das Human Alignment wird von Leuten in Indien gemacht. Es kommt heraus, was Amerikaner sagen würden und Inder für höflich halten. Das könnten wir für europäische Werte anpassen.
Wir könnten aber auch in Richtung Programmierung gehen. Wir sind auch bei der Erstellung vom Templates (Vorlagen, Anm.) besser. Wir können mit xLSTM komplexere Abhängigkeiten erkennen.

Wann schließt sich das Zeitfenster für Sie? Haben Sie sich eine Deadline gesetzt?

Die Idee möchte ich irgendwann realisieren. Als Forscher will ich sehen, ob es funktioniert. Geht's oder geht's nicht? Ob ich es mit einem der Big Tech mache, wird man sehen.
Bei Meta oder Google wäre es auch denkbar, dass sie so eine Technologie unten halten wollen. Denn alles noch einmal auf eine neue Grundlage stellen zu müssen, würde sie sehr viel Geld kosten. Das frühere LSTM war in allen großen Firmenprojekten drin, ob Alexa oder Siri. Es hat Amazon beim schnelleren Ausspielen der Onlinewerbung eine Milliarde Dollar Umsatz gebracht.
Warum ist das bei denen? Warum hast du nichts daraus gemacht? Das höre ich öfter.
Einmal haben die Leute von DeepMind (KI-Unternehmen von Google, Anm.) zu mir gesagt: "LSTM ist vorbei für dich, Sepp. Wenn eine neue Idee kommt, setzen wir 100 Leute drauf und blasen dich nieder."
Das hat mich sehr geärgert. Jetzt versuche ich, mehr daraus zu machen. Ich habe xLSTM schon verschiedenen Regierungen auf dem Silbertablett angeboten. Und die Privatwirtschaft ist jetzt bereit, einzusteigen.
Sollte es trotzdem nicht klappen, dann habe ich es zumindest versucht. Wenn ich sehe, in Europa schaffen wir es nicht, dann lasse ich xLSTM halt von jemand anderem ausprobieren.