Sustainable Insights mit Thorsten Jonas: Generative KI verantwortungsvoll nutzen − geht das?
Wie hoch ist der Nutzen für meinen konkreten Use Case?
Der erste Schritt ist die ehrliche Betrachtung des eigenen konkreten Anwendungsfalls. Denn seien wir ehrlich: Generative KI wird zur Zeit viel oft als reiner Selbstzweck genutzt:
„Wenn wir KI nicht nutzen, geraten wir ins Hintertreffen.“
Sätze wie dieser gehen in den Köpfen vieler umher. Dabei wird aber oft vergessen, ehrlich zu hinterfragen, wie hoch der Nutzen oder der Effizienzgewinn durch den Einsatz wirklich sind. Wie viel Zeit ist z. B. für die Überprüfung der Ergebnisse der KI notwendig? Und wie hoch ist die Qualität des Outputs? Die Wahrheit ist, dass oftmals der Glaube an die Qualität der Ergebnisse wesentlich höher ist, als die tatsächlichen Ergebnisse.
„I am being paid to fix issues caused by AI“
So titelte die BBC vor einigen Wochen. In dem Artikel wird beschrieben, wie der Einsatz von ChatGPT & Co. am Ende zu zusätzlichen − im Vorfeld nicht bedachten − Kosten führt. Denn die gelieferte Qualität durch generative KI ist oft schwankend, immer wieder sehr allgemein oder kann auch zu ernsthaften Fehlern führen, die sich dann in Kosten niederschlagen: sei es durch zusätzlichen Zeiteinsatz oder auch durch Fehler, die die KI produziert. Ein prominentes Beispiel ist hier z. B. der Air Canada Chatbot, der einem Kunden eine massiv zu hohe Entschädigung zugesprochen hat, die Air Canada dann auch zahlen musste.
Klarna liefert ein anders geartetes Beispiel: nachdem das Unternehmen viele Mitarbeiter*innen entlassen hatte, um deren Arbeit − vor allem im Customer Service − an AI zu übergeben, rudert das Unternehmen nun zurück und stellt aktuell wieder Menschen für den Customer Service ein: „After years of depicting Klarna as an AI-first company, the fintech’s CEO reversed himself, telling Bloomberg the company was once again recruiting humans after the AI approach led to “lower quality.“
Und dies ist kein Einzelfall: Eine Untersuchung zeigt, dass nur 1 von 4 AI-Projekten liefert, was versprochen oder erhofft war. (Quelle: Fortune)
Hierbei ist aber auch wichtig zu sagen, dass diese Dinge nicht für jeden Anwendungsfall gelten und es ebenso sehr sinnvolle Fälle gibt. Umso wichtiger ist die Betrachtung des eigenen Use Case und eine Abwägung der möglichen zusätzlichen Kosten. Die verantwortungsvolle Nutzung von KI bedeutet im ersten Schritt, ehrlich zu entscheiden, ob der angedachte Anwendungsfall wirklich sinnvoll ist und die echten Kosten im Vorfeld abzuwägen.
Jetzt aber mal reinfolgen!
Abonniere Tipps für CMS und Dev-Tools, Hosting Hacks und den ein oder anderen Gag. Unsere schnellen Takes für dich per E-Mail.
Kleineres Modell (SLMs) = größere Qualität
Im zweiten Schritt gilt es, das verwendete Modell zu betrachten. ChatGPT & Co. sind sehr große Modelle, die vermeintlich Vieles können, aber aus genau diesem Grund oft in Bezug auf den einzelnen Use Case eher mittelmäßige Ergebnisse liefern. Zusätzlich nehmen Halluzinationen mit der Größe des Modells zu.
Und anders als suggeriert, lässt sich das Problem mit der Qualität des Outputs und den Halluzinationen nicht durch mehr Kontext lösen. Die Benutzung von langen Prompts, die viel Kontext mitliefern, ist eine nicht selten empfohlene Technik, um den Output zu verbessern. Untersuchungen zeigen aber, dass im Gegenteil die Performance von LLMs sinkt, wenn der Prompt länger wird (Quelle: Trychroma).
Vereinfacht gesagt: Das große Modell ist oft nicht die beste Lösung und viel hilft nicht viel. Kleinere Modelle (Small Language Models -> SLMs) liefern in Bezug auf spezielle Use Cases, für die sie trainiert wurden meist bessere Ergebnisse als LLMs wie ChatGPT. Ein SLM arbeitet mit wesentlich weniger Parametern als ein LLM. GPT-4 als Beispiel für ein LLM nutzt 1,76 Billionen Parameter während das SLM Mistral 7B nur 7,3 Milliarden Parameter gebraucht (in speziellen Anwendungsfällen können Modelle mit einer noch deutlichen geringeren Anzahl von Parameter zum Einsatz kommen).
SLMs kommen aus diesem Grund auch mit wesentlich weniger Hardware aus und können im Gegensatz zu LLMs selbst gehostet oder sogar lokal betrieben werden – was letztendlich auch monetär einen deutlichen Unterschied machen kann. Zudem schließt sich hier auch der Kreis zu meiner Eingangsfrage, denn neben genannten Vorteilen ist zudem der ökologische Fußabdruck eines SLMs massiv kleiner.
Darüber hinaus ist der größte Pluspunkt von selbst betriebenen SLMs die digitale Souveränität. Daten und Dokumente verlassen nicht die eigene Domäne. Datenschutz ist wirklich und nachvollziehbar möglich. Geschäftsrisiken, die sich „by default“ aus der Nutzung von ChatGPT und Co ergeben, lassen sich so vermeiden oder mindestens signifikant verringern.
Der Trend kleine Modelle anstatt ChatGPT zu nutzen, ist seit einiger Zeit erkennbar. Gartner prognostiziert, dass bis 2027 Unternehmen kleine, Aufgaben-spezifische Modelle dreimal öfters benutzen werden als große allgemeine LLMs (Quelle: Gartner).
Anwendungsfälle können dabei unterschiedlichster Natur sein. Chatbots, Code-Generierung, Zusammenfassungen oder Content-Erstellung − all diese Anwendungsfälle lassen sich hervorragend mit SLMs abbilden.
Gartner prognostiziert, dass bis 2027 Unternehmen kleine, Aufgaben-spezifische Modelle dreimal öfters benutzen werden als große allgemeine LLMs.
Heißt das jetzt, kleine Modelle (SLMs) = verantwortungsvolle KI?
Bedeutet das nun, wir müssen alle einfach nur noch SLMs nutzen und uns dann keine Gedanken mehr über die möglichen negativen Auswirkungen durch KI machen?
Nein, so einfach ist es natürlich nicht. Die Probleme mit Generativer KI sind vielschichtig und massiv. Biases (Verzerrungen) können auch in SLMs vorkommen − auch wenn es sich dort besser reduzieren lässt. Wenn ich Llama von Meta lokal nutze, nutze ich immer noch ein Tool von einem in Datenschutz und digitaler Ethik sehr problematischen Unternehmen. Und auch kleine Modelle haben einen ökologischen Fußabdruck, der immer gegen den Nutzen abgewogen werden muss.
Die erste Frage muss also stets sein: Ist mein Use Case ein sinnvoller Case für Generative KI? Und diese Frage muss wesentlich häufiger als gedacht und bei ehrlicher Betrachtung mit „Nein“ beantwortet werden. Ähnliches gilt bei der Frage nach der Qualität der Outputs. Aus beiden Aspekten ergeben sich konkrete Geschäftsrisiken. Siehe die zuvor genannten Beispiele von Air Canada und Klarna.
Fazit
Es bleibt also Fakt, dass (generative) KI eben nicht immer die Lösung ist, sondern in vielen Fällen nicht den erhofften Effizienzgewinn oder das erhoffte Einsparpotential bietet, wie zuvor versprochen.
Aber es gibt ebenso sinnvolle Anwendungsfälle für (generative) KI. Und in diesen Fällen lohnt es sich oftmals, anstatt alles mit ChatGPT zu erschlagen, auf kleinere Modelle zu setzen, die in der eigenen Domäne gehostet werden, die volle digitale Souveränität ermöglichen und letztendlich auch günstiger sind. Und die nebenher einen deutlich geringen Ressourcenverbrauch und CO₂-Impact haben.
AI-Hosting mit SLMs bei mittwald
Willst du ein SLM-Modell in deinen Webprojekten implementieren? Dann schau dir mal unser AI-Hosting an.
Quellen
