Die Wahrheit über die größten Mythen zum AI Act

Nach dem AI Act müssen Unternehmen einen Compliance Officer benennen.

Anders als bei der DSGVO, bei der man für gewisse Konstellationen eine Person bestimmen muss, die für die Einhaltung der Gesetzesbestimmungen verantwortlich ist, gibt es das im AI Act nicht. Dennoch sollte man überlegen, Verantwortlichkeiten zu schaffen. Es macht Sinn, eine Person zu designieren, die für AI Compliance zuständig ist. Ein Compliance Officer für künstliche Intelligenz ist ein Signal nach außen, um zu zeigen, dass das Thema sehr ernst genommen wird.

Was wären die Aufgaben?

Der AI Compliance Officer würde im Unternehmen die Einhaltung des AI Acts und der verschiedenen Pflichten, insbesondere die Abstimmung mit den Stakeholdern, vorantreiben. Es gibt innerhalb von kurzen Abständen relativ viel zu tun, weil der AI Act stufenweise anwendbar wird. Beinahe alle sechs Monate treten neue Verpflichtungen in Kraft, und der AI Officer sollte die Einhaltung überwachen. Der erste Schritt wäre, zu identifizieren, ob es verbotene KI-Praktiken im Unternehmen gibt. Diese müssen bereits mit Februar 2025 eingestellt werden. Der zweite Schritt wäre, eine KI-Strategie für das Unternehmen zu entwickeln.

Warum setzt man AI ein? Wofür? Und welche Risiken sind damit verbunden? Der nächste Schritt wäre dann die Einsetzung einer AI-Policy – und darauf aufbauend dann auch konkrete Arbeitsanweisungen für Mitarbeiter zu entwickeln. Am Beispiel von Chat GPT müsste darin festgehalten werden: Darf man Chat GPT einsetzen? Ja? Nein? Wird die allgemeine oder eine individuell programmierte Version eingesetzt? Wo werden Daten und Informationen gespeichert? Bleiben sie im Unternehmen oder wandern sie in einen weltweiten Datenpool? Wie weise ich intern aus, ob ich Chat GPT verwendet habe?

Unternehmen und Mitarbeiter müssen sich zum Nachweis der KI-Kompetenz zertifizieren lassen.

Anbieter und Betreiber von KI-Systemen müssen sicherstellen, dass ihr Personal und alle sonstigen eingebundenen Personen, Dienstleister, Freelancer oder andere Dritte, die im Geschäftsalltag mitwirken, über ausreichende Kompetenz verfügen. Sie müssen die Grenzen des KI-Systems verstehen und wissen, wie sie damit umgehen sollen. Diese Fähigkeiten werden im AI Act aber nicht genau definiert. Es gibt keine Verpflichtung zu Schulungen und zu Herausgabe von Arbeitsanweisungen.

Das hat den Grund, dass jede Abteilung unterschiedliche Kompetenzen benötigt. Eine PR-Abteilung muss über andere Kompetenzen bei Anwendungen von KI-Systemen verfügen als eine IT-Abteilung. Deswegen ist das nicht granular reguliert. Eine Zertifizierung ist gesetzlich auch nicht notwendig, obwohl es sehr viele Schulungsangebote für Zertifizierungen zum AI Compliance Manager gibt. Davon sind viele mit einer gewissen Vorsicht zu genießen. Man sollte zuerst hinterfragen: Was brauche ich? In welchen Abteilungen setze ich künstliche Intelligenz wie ein? Danach kann man gezielt Fortbildungskonzepte aufbauen oder zukaufen, die für bestimmte Fachabteilungen oder für die gesamte Belegschaft, etwa im Umgang mit Chat GPT, notwendig sind.

Betrifft das nur die Mitarbeiter im Unternehmen?

Man muss das Thema auch entlang einer gesamten Wertschöpfungskette betrachten. Es reicht nicht, dass ich die Mitarbeiter verpflichte, sondern es müssen sich auch Subdienstleister oder sonstige Personen, die zum Beispiel Daten zuliefern oder bereinigen, dazu verpflichten, über solche Fähigkeiten zu verfügen, damit immer qualifiziertes Personal eingesetzt wird.

Es gibt bereits eine Reihe von Zertifizierungsanbietern.

Es gibt keine Vorgaben für Zertifizierungsinhalte. Es tritt hier eine Reihe von Dienstleistern auf, die in dem Bereich nicht wirklich viel Know-how hat. Man sollte die Angebote kritisch hinterfragen und schauen, wie lange die Anbieter in dem Bereich schon aktiv sind. Chat GPT ist nicht so lange am Markt, aber das Thema AI gibt es schon länger. Und jemand, der sich ernsthaft damit befasst hat, sollte auch vor drei Jahren schon etwas in dem Bereich gemacht haben, nicht erst jetzt.

Aber viele, vor allem kleinere und mittlere, Unternehmen sind bei dem Thema KI noch überfordert.

Viele Unternehmen sind im Moment noch in der Schwebe, was sie tun sollen. Dabei ist das Allerallerwichtigste die Schaffung von Medienkompetenz. Das ist bei AI, aber auch bei den schon viel früher aufgetretenen Social Media der springende Punkt. Man muss Medienkompetenz erlernen. Wie gehe ich mit solchen Tools um? Verstehe ich, was sie eigentlich tun und wie ich sie einsetze? Wie wahr darf man das nehmen? Damit sollten sich viele Unternehmen als Allererstes auseinandersetzen.

Wenn KI nicht auf dem Produkt oder der Leistungsbeschreibung angegeben ist, fällt es nicht unter den AI Act.

Im AI Act ist festgehalten, dass KI auszuweisen ist. Derzeit steht auch bei jeder Software KI dabei, weil es eben modern ist. KI-enabled, KI embedded usw. Das kann aber dazu führen, dass KI draufsteht, aber keine KI drinnen ist. Das heißt aber, dass man sich nicht darauf verlassen kann. Man muss nach der Definition des AI Acts selber jedes Mal die Prüfung machen: Liegt KI vor oder nicht? Das ist jedoch schwierig, weil die OECD-Definition von KI sehr schwammig ist. Als erste Anhaltspunkte dienen natürlich die Angaben auf der Verpackung, aber letztendlich muss man selber die Einordnung treffen. Der AI Act nimmt dabei die ganze Wertschöpfungskette in die Pflicht – vom Erfinder über den Programmierer bis zum Betreiber, der sie einsetzt. Jeder hat seine Pflichten zu Transparenz und Offenlegung.

Wenn ich KI nur zukaufe, bin ich immer Betreiber und kein Anbieter.

Der AI Act sieht unterschiedliche Rollen vor. Am strengsten wird der Anbieter in die Pflicht genommen. Dann der Betreiber und danach alle weiteren Akteure, also Importeure, Händler usw. Wenn etwa kleine und mittelständische Unternehmen KI zukaufen, sind sie Betreiber, weil sie das Produkt einfach weiter nutzen. Doch die Rollen von Anbieter und Betreiber können auch verschwimmen. Denn KI-Systeme funktionieren nur dann, wenn man sie laufend mit Daten füttert, trainiert und finetuned. Aber sobald man das macht, ändert man auch etwas am Produkt. Wenn aber zu viel an dem Produkt verändert wird, kann es sein, dass sich auch die Rolle ändert und man plötzlich zum Anbieter wird. Darauf muss man achten, weil man dann plötzlich wesentlich mehr Pflichten hat.

Wie kann man erkennen, dass man vom Betreiber zum Anbieter wird?

Durch die Dokumentation der Entscheidungen und der Prozesse. Die IT muss dokumentieren, wie sich das Programm verändert, wenn bestimmte Daten eingespeist und Gewichtungen verändert werden. Zusätzlich muss der Dienstleister gefragt werden, ob an dem System überhaupt etwas verändert werden kann, wenn es mit eigenen Daten trainiert und weiter ausgebaut wird.

Ab 2. 2. 2025 muss der Verbotskatalog des AI Acts eingehalten werden. Aber in Österreich wird ohnehin keine verbotene KI eingesetzt.

Leider ist das nicht so. Warum? Die erste Regel, die scharfgeschalten wird, besagt, dass ab 2. 2. keine verbotene KI eingesetzt werden darf. Daher müssen Unternehmer jetzt abklären, welche KI sie bereits einsetzen. Doch es gibt durchaus Unternehmen, die experimentierfreudig sind. Daher kann es sein, dass auch verbotene KI zum Einsatz kommt. Also müssen Unternehmen die Zeit bis Februar nutzen, um zu identifizieren, ob nicht doch kritische KI verwendet wird. Das ist dann einzustellen oder entsprechend zu adaptieren.

Was ist verbotene KI?

Das klassische Beispiel ist Social Scoring. Das kommt in Österreich Gott sei Dank tatsächlich nicht vor. Dabei werden Daten über Personen gespeichert, bewertet, und dann werden daraus Schlüsse gezogen. In China kommt das zum Einsatz. Dort geht es um die Regulierung des Kollektivs. In Europa hingegen stehen Menschenrechte und das Individuum im Vordergrund. Daher gibt es bei uns einen breiten Verbotskatalog. So sind Anwendungen von Emotionserkennung kritisch zu sehen. Sei es bei Emotionserkennung am Arbeitsplatz wie etwa über Hotlines. Wenn zum Bespiel im Gespräch das Personal unfreundlich reagiert und Programme das verarbeiten, fällt es unter das Verbot.

Es gibt auch Programme, die bei Video-Calls das Gespräch im Hintergrund automatisch zusammenfassen, die Stimmungen der Teilnehmer analysieren, dabei erkennen, ob jemand verärgert oder erfreut ist. Und dann werden entsprechende Handlungsempfehlungen daraus abgeleitet.

Gerade in der Sales-Analyse, beim Verkauf, kann man KI sehr gut einsetzen. Die Redezeit des Kunde und des Verkäufers werden analysiert. Es wird festgehalten, worauf der Käufer besonders reagiert hat. Dann kann der Verkäufer aus der KI-Analyse ein Mail nachschicken, mit dem man Defizite ausgleichen oder Themen verstärken kann. Das gibt es bereits, und damit werden auch bessere Abschlusszahlen erzielt. Dennoch ist es hinterfragenswert.

Die KI-Servicestelle der Rundfunk und Telekom Regulierungs-GmbH (RTR) wird zur KI-Behörde.

Das ist eine der größten Mythen überhaupt. Der AI Act sieht mindestens eine Marktüberwachungsbehörde vor, es können aber auch mehrere sein. Wer diese eine oder mehrere Behörden sein werden, ist in Österreich noch nicht final entschieden. Die Mitgliedsstaaten müssen das bis spätestens August 2025 einmelden. Die RTR hat eine KI-Servicestelle eingerichtet. Die ist aber nur beratend tätig. Das ist eine Austauschplattform, damit sich Unternehmen, Forschungseinrichtungen, Startups oder die öffentliche Hand an diese KI-Servicestelle mit spezifischen Fragen richten können. Der AI Act sieht auch eine Teilkompetenz der Datenschutzbehörde vor. Die Datenschutzbehörde wird also die Marktüberwachungsbehörde für gewisse Hochrisiko-KI-Bereiche im öffentlichen Sektor sein – bei der Anwendung von KI in der Rechtspflege, also wenn beispielsweise Richter KI zur Entscheidung einsetzen, oder in der Strafverfolgung beim Thema Predictive Policing. Das betrifft die Analyse der Wahrscheinlichkeit einer Strafan- und -rückfälligkeit von Tätern.

Ein KI-System ist als Hochrisiko einzustufen, wenn ein hohes Risiko von der Software ausgeht.

Hier geht es um den Risk-Based Approach, der sehr sinnvoll ist. Demnach muss man unter dem AI Act Risiken abwägen und dann Entscheidungen treffen. Daher gibt es eben den Mythos, dass, wenn Risiken von einer Software ausgehen, das als Hochrisiko- System einzustufen ist. Die Antwort ist aber Nein. Weil die Verordnung die Bereiche einschränkt, auf die es ankommt. Und die sind in zwei Anhängen aufgezählt. Der eine ist eher sicherheitsrelevant, der andere ist eher produktbezogen. Wenn keiner dieser Anhänge greift, kann etwas noch so gefährlich sein, aber es ist keine Hochrisiko-KI. Wenn die Bereiche in den beiden Anhängen aber auftauchen, handelt es sich wahrscheinlich um Hochrisiko-KI. Das heißt, man stellt zuerst fest, in welchem Bereich man sich befindet, und dann entscheidet man, ob es sich um Hochrisiko-KI handelt. Der Gesetzgeber definiert im Vorhinein, was ein Hochrisiko sein kann, und man kann danach agieren.

Gibt es Beispiele dafür?

Der Gesetzgeber unterscheidet zwischen produktbezogenen und kontextbezogenen Risiken. Es gibt KI beispielsweise in Fahrzeugen, in Flugzeugen, in Aufzügen oder in Medizinprodukten, um diese Systeme intelligenter zu gestalten. All diese Produkte sind bereits reguliert, weil aus der Benutzung dieser Produkte ein gewisses Risiko entsteht. Wenn KI als Sicherheitsbauteil eingesetzt wird, kann es Hochrisiko-KI sein. Bei den kontextbezogenen Risiken kommt es darauf an, für welchen Einsatzzweck KI verwendet wird. Zum Beispiel KI im HR-Bereich, wenn KI Bewerbungsbriefe sortiert und darüber entscheidet, wer zum Bewerbungsgespräch eingeladen wird und den Job bekommt. Das ist etwas, das in die Grundrechte von Menschen eingreift. Daher ist es Hochrisiko-KI. Ein anderes Beispiel ist die Bonitätsbewertung im Bankenbereich. Dies könnte sich auf die Kreditvergabe und Zugang zu wesentlichen privaten Leistungen auswirken.

Mit dem AI Act wird erstmals KI reguliert.

Das wird immer sehr gerne behauptet, stimmt aber nicht. Der AI Act ist nicht die erste weltweite Regulierung von KI. Künstliche Intelligenz war schon vorher reguliert und hat sich nicht in einem rechtsfreien Raum bewegt. Man musste die technologischen und rechtlichen Implikationen beim Einsatz von KI schon immer beachten. Zum Beispiel beim Datenschutz. Ich muss hinterfragen, ob personenbezogene Daten durch das KI-System verarbeitet werden. Wie werden Daten trainiert? Ist das überhaupt zulässig? Auch das Urheberrecht gab es schon vor dem AI Act: Wenn etwa Texte oder Bilder generiert werden und das System dann aber eine Eins-zu-eins- Reproduktion eines Originals hervorbringt, ist das schon immer urheberrechtlich reguliert gewesen. Richtig ist, dass künstliche Intelligenz erstmals aus einer produktsicherheitsrechtlichen Perspektive mit dem AI Act betrachtet wird. Durch die Risikoklassifizierung und Maßnahmen zur Klassifizierung des Risikos hat man produktsicherheitsrechtliche Maßnahmen zur Vorbeugung von Gefahren geschaffen. Das ist tatsächlich der erste Vorschlag weltweit gewesen.

Wenn ich Chatbots mit KI-Modellen von OpenAI oder anderen Anbietern verwende, hafte ich nicht für falsche oder rechtswidrige KI-generierte Outputs, weil ich die Software nur zugekauft und nicht selbst programmiert habe.

Das ist ein komplexes Thema. Dass ein Betreiber für seine Lösung haftet, ist natürlich klar. Aber der Betreiber sitzt in der Regel in den USA oder, wenn ich Pech habe, in China. Für den, in dessen Recht durch einen Programmierfehler eingegriffen wird, ist das zwar uninteressant, aber die Chancen, von einem US-Anbieter eine Entschädigung zu erhalten, sind gering. In China liegen sie bei null. Aber ein europäischer Geschädigter wird versuchen, den zu klagen, der das KI-Programm eingesetzt hat. Und da ist die Rechtsordnung ziemlich brutal. Sie ermöglicht nämlich das große Einfallstor über das Urheberrecht. Da ist jeder Eingriff verschuldensunabhängig. Sprich: Man weiß gar nicht, dass ein Text oder ein Bild durch KI von einem Autor oder Fotografen ungerechtfertigt übernommen wurde, und arbeitet mit dem Ergebnis. Der Autor des Ursprungswerks erkennt das und kann klagen – ganz verschuldensunabhängig und rein deswegen, weil sein Werk genutzt wurde. Das führt zu einer Unterlassungsklage und einem Anspruch auf angemessenes Entgelt. Das ist jener Betrag, den er bekommen hätte, wenn er seine Zustimmung erteilt hätte. Wenn dann noch ein Verschulden vorliegt, erhöht sich der Anspruch auf das Doppelte des angemessenen Entgelts. Man kann sich auf ein KI generiertes Ergebnis also nicht so einfach verlassen. Das ist genauso wie bei Wikipedia oder Google. Daran sieht man auch, wie wichtig Medienkompetenz ist. ChatGPT von OpenAI ist kein Nachschlagewerk. Es berechnet mit einer hohen Wahrscheinlichkeit, was die richtige Antwort ist, ob die plausibel ist, muss man überprüfen.

Das Internet ist ein „All-you-can-eat-Buffet“. Alle öffentlich verfügbaren Daten dürfen für KI-Zwecke genutzt werden.

Das ist definitiv nicht der Fall. Im Internet sind eine Vielzahl unterschiedlicher Daten enthalten. Man muss erkennen, ob es personenbezogene Daten sind. Dann muss man sich aus datenschutzrechtlicher Sicht ansehen, ob man auf diese Daten zugreifen darf. Wenn man Daten aus dem Internet scrapet, also abgreift, um KI-Systeme zu trainieren, kann sich auch eine urheberrechtliche Schranke auftun. Das Gleiche gilt, wenn man auf Datenbanken zugreift. Hier schafft das Datenbankrecht wiederum eine Grenze für die Nutzung. Man kann nicht fremde Investitionen nutzen und daraus eine eigene Datenbank aufbauen.

Auf welche Daten sollten Unternehmen für den Einsatz von KI dann am besten zugreifen?

Man sollte versuchen, die Daten aus seinem eigenen Unternehmen zu nutzen und zu verarbeiten. Das schafft auch einen Innovationssprung. Die meisten Lösungen funktionieren dann gut, wenn sie auf individuelle Bedürfnisse hin zugeschnitten sind. Natürlich müssen dazu erst einmal alle Abläufe digitalisiert werden, um digitale Daten daraus ableiten zu können, die dann mit KI-Systemen verarbeitet werden, um daraus dann entsprechende Schlüsse zu ziehen.

Aber Google macht bei der Nutzung von Daten für sein KI Modell diese Einschränkungen nicht?

Es macht einen Unterschied, ob man bei der Entwicklung und dem Einsatz von KI in den USA, in China oder in der Europäischen Union sitzt. In der EU wird sehr stark reguliert. Die Tech-Giganten in den USA können aber dabei durchaus aggressiver vorgehen. Sie loten die Grenzen beim Einsatz von Daten aus und überschreiten sie auch, weil sie nur so zu einer wirksamen Lösung kommen. Man braucht eben einen gewissen Datenpool für effiziente Anwendungen.