©istock/metamorworks
Eine KI-Halluzination liegt vor, wenn ein großes Sprachmodell (engl. Large Language Model, LLM) wie zum Beispiel GPT-4o von OpenAI oder Google Gemini falsche Informationen liefert oder Fakten erfindet. Die KI-Modelle tun dies nicht aus Bösartigkeit, sondern aufgrund von Mustern in den Trainingsdaten. Christian Casari (ONTEC AG) und Alexander Göppel (Aleph Alpha) erklären im Interview, wie Unternehmen interne Daten durch KI zuverlässig nutzbar machen können und welche Entwicklungen und Innovationen im Bereich der KI unsere Arbeitswelt verändern werden.
Welche Strategien setzen Unternehmen ein, um sicherzustellen, dass ihre internen Daten für KI-Anwendungen zuverlässig und effizient nutzbar gemacht werden?
Unabhängig von der Branche und der Größe, ist es für Unternehmen unerlässlich, Daten effizient und zielgerichtet zu managen. Gleichzeitig ist das effiziente Datenmanagement eine der größten Herausforderungen: Mitarbeitende investieren viel Zeit, um nach Daten zu suchen, tätigkeitsabhängige Zugriffe anzufragen, weniger relevante Informationen zu lesen, zu verstehen, auszuwerten – sprich die Daten nutzbar zu machen. Ein erster wichtiger Schritt vor der Implementierung von KI-Anwendungen ist ein gutes Datenqualitätsmanagement, bei dem die Daten sortiert und bereinigt werden.
Korrekt. Wobei wir bei Aleph Alpha noch einen Schritt vorher ansetzen und gemeinsam mit dem Kunden den gewünschten Output definieren, um anschließend einen wirklichen Mehrwert durch KI zu generieren.
Genau, das gehört auch bei uns zur Strategie. Mit der richtigen KI-Strategie können Organisationen ihre Datenflut bewältigen, Einblicke gewinnen und fundierte Entscheidungen treffen.
Welche Herausforderungen begegnen Unternehmen häufig bei der Integration interner Daten in KI-Systeme, und wie können diese überwunden werden?
Eine der Herausforderungen ist, die sich häufig ändernden Datensätze aktuell zu halten. Außerdem muss gewährleistet sein, dass die geschaffene Data Governance sowie Access Strukturen auch in einem KI unterstützten Prozess eingehalten werden.
Was Unternehmen auch oft unterschätzen, ist, dass das Wissen der Mitarbeitenden ordentlich dokumentiert werden muss, damit man dieses in Form von Daten für die KI nutzen kann. Es ist also sehr wichtig, die Mitarbeitenden in die KI-Strategie miteinzubeziehen.
Es ist sehr wichtig, die Mitarbeitenden in die KI-Strategie miteinzubeziehen
onteg-ag.jpg&width=2560&height=1708&quality=75&format=webp "© Onteg AG")
© Onteg AG
Was sind die häufigsten Ursachen für Halluzinationen in KI-generierten Antworten und wie können Unternehmen diese minimieren?
KI-Modelle, insbesondere generative Sprachmodelle (LLMs), werden mit großen Mengen Textdaten trainiert. Die KI gibt die Wahrscheinlichkeit einer richtigen Antwort auf Basis des verfügbaren „Wissens“ wieder. Ist dieses Wissen nicht in den zur Verfügung stehenden Daten, beginnt die KI Informationen zu „halluzinieren“. Um Halluzinationen zu minimieren, hat sich folgender iterativer Prozess bewährt:
Prompting: Lässt erkennen, welchen Kenntnisstand / Fähigkeiten das Modell hat.
Few-shot Prompting: Fügt dem Prompt Beispiele zur Erstellung eines optimalen Outputs hinzu.
Instruct Fine Tuning: Fügt dem Modell eine größere Anzahl an Beispielen für einen optimalen Output zu. Das Modell „lernt“ die Unternehmensspezifika.
Domain Fine Tuning: Fügt dem Modell eine große Anzahl qualitativ hochwertiger Domänen-spezifischer Daten zu, die notwendig sind, um Arbeitsschritte auszuführen.
Außerdem sollte auf eine richtige Architektur gesetzt werden – hier ist vor allem die RAG-Technologie führend. Christian, ihr bei der ONTEC arbeitet auch mit Retrieval Augmented Generation (RAG) Technik, richtig?
Genau. Der Vorteil der Technik ist, dass dabei spezifische Informationen genutzt werden, um von einem LLM relevantere und korrektere Antworten zu bekommen. RAGs sind daher besonders bedeutsam bei der Unterdrückung von KI-Halluzinationen.
Aus Ihrer Erfahrung, wer übernimmt meistens in den jeweiligen Unternehmen die Verantwortung für GenAI - die Strategie, die Implementierung...?
Nicht immer, aber immer häufiger, kommt der Anstoß von ganz oben. CEOs lernen, dass KI Wettbewerbsvorteile bringt und wollen dementsprechende KI-Lösungen bei sich im Unternehmen implementieren. Dieser Anstoß ist wichtig, aber für die Strategie-Entwicklung und den Use-Case müssen unbedingt die Verantwortlichen der Fachabteilungen hinzugezogen werden.
Am Anfang steht die Bedarfsanalyse. Die Geschäftsführung ist nicht immer ins operative Tagesgeschäft involviert. Die Frage nach dem gewünschten Output, also, was will ich durch und mit der KI erreichen, muss von den Menschen beantwortet werden, denen die KI den Arbeitsalltag erleichtern soll.
Die Frage nach dem gewünschten Output muss von den Menschen beantwortet werden, denen die KI den Arbeitsalltag erleichtern soll
aleph-alpha.jpg&width=2560&height=2442&quality=75&format=webp "© Aleph Alpha")
© Aleph Alpha
Welche Techniken und Methoden sind am effektivsten, um die Präzision und Zuverlässigkeit von KI-Antworten zu gewährleisten?
Angefangen bei der zuvor angesprochenen Datenqualität, also der Verwendung von hochwertigen und gut annotierten Datensätzen (mit Tags versehene Daten), einer intelligenten Architektur sowie einem passenden LLM, ist das kontinuierliche Training und – super wichtig für uns – der Einsatz von Techniken, die die Entscheidungsfindung des Modells transparent machen, eine gute Kombination.
Wie können Unternehmen sicherstellen, dass ihre KI-Modelle kontinuierlich aktualisiert und verbessert werden, um Halluzinationen zu reduzieren?
Auch hier sind die Daten entscheidend: Das regelmäßige Hinzufügen von hochwertigen Daten und zusätzlichen Datenquellen hilft der KI, auf dem neuesten Stand zu bleiben, um es mal so salopp auszudrücken. Wiederholtes Fine-tuning (wenn man sehr viele, akkurate Daten hat) kann die Genauigkeit und Relevanz der Antworten zusätzlich erhöhen. Benchmarking, Adversarial Training, das Anpassen von API’s (Application Programming Interfaces) Robustheitsanalysen können ebenfalls helfen.
Unternehmen benötigen eine Umgebung, wie den Aleph Alpha Core, die den iterativen Prozess begleitet. Darüber hinaus sollte die Umgebung dem Kunden ermöglichen ein für den Use Case spezifisches Benchmarking zu erstellen, um verschiedene Modelle gegeneinander zu testen und das für den Anwendungsfall bestmögliche Modell zu finden. Ebenfalls sollte die Umgebung in der Lage sein, mit neuen Modellen zu arbeiten. Wenn ein für einen Anwendungsfall bestimmtes Modell und ein robuster Prompt gefunden wurde, ist es entscheidend, dass das Modell konsistent bleibt und nicht bspw. Gewichtungen verändert werden. Das wiederum hätte Auswirkungen auf den generierten Output.
Wie können Unternehmen sicherstellen, dass ihre NLP-Systeme in sensiblen Geschäftskontexten, wie beispielsweise im Finanz- oder Gesundheitswesen, verlässliche und sichere Antworten liefern?
LLMs sind Machine Learning Systeme, das heißt sie bestehen im Wesentlichen aus großen Tabellen von Zahlen (Gewichte) welche auf großen Datensätzen (Trainingsdaten) optimiert werden. LLMs können nur “Wissen” abrufen, welches in ihrem Trainingsdatensatz enthalten war. Um dennoch zum Beispiel interne Firmendaten für LLMs zur Verfügung stellen zu können, gibt es Techniken wie zum Beispiel RAG, die zunächst für eine Anfrage relevante Informationen aus einer externen Quelle beziehen und diese dann nutzen, um einem LLM mehr „Kontext” zu geben und die Wahrscheinlichkeit für eine relevante Antwort zu erhöhen. Finetuning ist der Prozess des „Nachtrainierens” auf einem weiteren Trainingsdatensatz. Es gibt derzeit im wesentlich zwei Arten von Finetuning:
a) Instruct-Finetuning: Dem Modell wird eine Vielzahl von Beispielen zur Verfügung gestellt – wie das Ergebnis einer bestimmten Aufgabe (bspw. die Generierung eines Projektstatus) auszusehen hat. So lernt die KI diesen internen Aufgabentyp.
b) Domain Fine Tuning: Dem Modell wird eine große Menge spezifischer, qualitativ hochwertiger Daten zu Verfügung gestellt, die das Modell erlernen soll. Bspw. Medizinische Fachbegriffe oder ein Dialekt.
Welche zukünftigen Entwicklungen und Innovationen im Bereich der KI und NLP erwarten Sie in den nächsten fünf Jahren?
KI hat sich in den letzten zwei Jahren unfassbar schnell entwickelt und entwickelt sich immer noch rasend – und zwar in allen Bereichen. Ein Bereich davon ist NLP, also natürliche Sprachverarbeitung, die es Computern möglich macht, menschliche Sprache zu verstehen, zu interpretieren und zu erzeugen, und ein Teilbereich davon ist LLM, was für Aufgaben wie Texterstellung, Zusammenfassung und Übersetzung eingesetzt werden kann. Dort werden die sogenannten Context Windows (Kontextfenster) immer größer – mittlerweile hat Google schon über eine Million Token und es werden noch mehr – die Aufmerksamkeitsspanne des Modells erhöht sich und längere Texte können berücksichtigt werden. Diese Entwicklung hat aber den Nachteil, sehr Energie aufwendig und teuer zu sein. Um bei den positiven Entwicklungen zu bleiben, ist vielleicht noch die Robotik zu nennen. Mit Hilfe von LLMs werden diese immer fähiger und können sehr spezifisch trainiert werden. Ein konkretes Anwendungsbeispiel sind humanoide Roboter, die in naher Zukunft mehr Aufgaben in der industriellen Fertigung – beispielsweise in der Automobilbranche – übernehmen werden.
Wie können Unternehmen sich auf diese Entwicklungen vorbereiten und ihre Daten- und KI-Strategien entsprechend anpassen?
Der erste Schritt für die erfolgreiche Umsetzung von KI-Projekten ist es zu definieren, welchen Output die Technologie generieren soll. Konkret wird gefragt, welche Qualitätsmerkmale der Output aufweisen sollte, damit dieser von den Anwender:innen weiterverwendet werden kann. Im zweiten Schritt gilt es, die passende Umsetzungsumgebung zu wählen. Hier ist es wichtig darauf zu achten, dass die verwendeten Technologien in der Lage sind, den PoC/Piloten in einem produktiven, skalierbaren und sicheren Zustand zu bringen, sowie mit den rasanten Innovationen im Markt Schritt halten können. Es werden sich für viele Aufgabenbereiche und Branchen spezifische Modelle entwickeln, die spezifische Aufgaben oder Sprachen besser verstehen können als generische, große Modelle.
Sehen Sie Potenzial für neue Anwendungsfälle von KI in Unternehmen, die bisher noch nicht ausgeschöpft wurden?
Ja, es gibt sehr viele Anwendungsfälle, die noch nicht ausgeschöpft sind. Hier mal ein paar Beispiele:
1. Personalisierte Kundeninteraktionen: Unternehmen können KI nutzen, um Kundenerlebnisse zu personalisieren, indem sie Verhalten, Vorlieben und frühere Interaktionen analysieren. Dies kann in Echtzeit geschehen und umfasst Empfehlungen, personalisierten Marketingbotschaften und individuell angepassten Kundensupport-Lösungen.
2. Prognostische Wartung: In der Fertigungsindustrie oder bei der Wartung von Ausrüstungen kann KI dazu verwendet werden, Daten von Sensoren zu analysieren und vorherzusagen. Dies ermöglicht präventive Wartung, bevor tatsächliche Probleme auftreten.
3. Verbesserung der Lieferkette: KI kann in der gesamten Lieferkette eingesetzt werden, um Nachfrageprognosen zu verbessern, den Lagerbestand zu optimieren und Transportwege effizienter zu gestalten.
4. Automatisierung von Geschäftsprozessen: Robotic Process Automation (RPA) kombiniert mit KI kann viele routinemäßige Geschäftsprozesse automatisieren, von der Dateneingabe bis hin zur komplexen Entscheidungsfindung.
5. Nachhaltigkeitsinitiativen: KI kann helfen, Energieverbrauch und Ressourcennutzung in Unternehmen zu optimieren. Dies ist nicht nur wirtschaftlich vorteilhaft, sondern trägt auch zu Umweltschutzzielen bei.
6. KI-gestützte Sicherheit: Im Bereich der Cybersicherheit kann KI dazu beitragen, Angriffe zu erkennen und zu verhindern, indem sie Muster in Daten erkennt, die auf potenzielle Sicherheitsbedrohungen hinweisen.
