Der Einsatz generativer KI ist für viele Unternehmen in Deutschland bereits eine exzellente Möglichkeit, Prozesse zu automatisieren, Vertrieb, Marketing und Service durch Bots zu entlasten oder die Dokumentenbearbeitung zu beschleunigen. Doch die Vielfalt an Large Language Models (LLMs) ist überwältigend – und jedes hat Vor- und Nachteile, je nachdem, was man damit machen möchte. Wer dabei den Überblick über den richtigen Einsatz, den Datenschutz und die Kosten behalten will, sollte sich mit AI Gateways beschäftigen.
Zu Beginn mal eine einfache Frage: Ein Unternehmen will für seine Kundenserviceabteilung eine KI einführen, die den Intent des Anfragers erkennt, ihm zur Weiterleitung an einen Agenten erste Fragen stellt und das Gespräch am Ende automatisch zusammenfasst – Hand hoch: Wer weiß, welches LLM hier am besten geeignet ist? Weitere Frage: Was passiert mit den Daten der anfragenden Kunden? Wo wird die KI gehostet? Vielleicht in Deutschland, wie zum Beispiel Aleph Alpha? Und kommt es darauf an, ob man einen Chatbot oder einen Voicebot haben möchte? Klar kommt es darauf an! Es geht nämlich u. a. um völlig unterschiedliche Reaktionszeiten: Im Falle eines Voicebots soll dieser einen menschenähnlichen Dialog führen, da sind Antwortzeiten von 40 Sekunden natürlich absurd. Es nützt also herzlich wenig, eine KI einzusetzen, die zwar akkurate Antworten gibt, aber nicht besonders flott ist, weswegen die Auflege-Rate am Telefon explodiert und 98 Prozent erreicht. Falsche KI am Werk.
Rein in den Dschungel!
Um solche Fragen und viele weitere zu beantworten, gibt es Expert:innen und ganze Forschungsabteilungen, die nichts anderes tun, als die vielen ständig neuen LLMs anzuschauen und danach zu bewerten, für welchen Anwendungsfall was geeignet ist. Das Ergebnis sind AI Gateways. Dabei geht es auch um die Möglichkeiten, Daten von Nutzer:innen, also den eigenen Kund:innen, zu schützen, Stichwort Compliance. Will ein Fahrrad-Fachgeschäft wirklich den Namen eines Kunden, seine Anschrift, seine Einkäufe samt Zubehör einfach einer KI in den USA schicken, nur weil Rudi Radler am Sonntag um 23 Uhr eine Frage zu mobilen Solarpanels hat, mit denen er den Akku seines E-Bikes laden kann? Kaum. Was tun? Die Zauberworte lauten Anonymisierung, Pseudonymisierung und Re-Pseudonymisierung. Lässt sich nur schwer aussprechen, ist aber mitunter sehr wichtig. Klar, in manchen Fällen ist es auch egal, wenn Daten in die USA gehen. Wer seinen Kund:innen eine KI anbietet, die Witze erzählt – go for it! Es kommt halt immer drauf an, wie hoch das eigene Schutzbedürfnis für den jeweiligen Anwendungsfall ist. Die ganze Bandbreite ist möglich und ein AI Gateway findet den richtigen Weg durch den Dschungel.
So gelingt das KI-Management
Man muss nämlich, wenn man mit LLMs spielt, Spielregeln oder Trails aufstellen bzw. ein Spielfeld bestimmen, innerhalb dessen sich das LLM zur Automatisierung oder auch Teilautomatisierung eines Prozesses bewegen darf. Das ist die Dialogführung. Dazu braucht es klare, einfache Anweisungen. Das beginnt schon bei der Begrüßung: Wollen Sie, dass die Bots Ihre Kund:innen duzen oder siezen? Sollen sie Smileys nutzen und Smalltalk beherrschen oder eher in Zahlen, Daten und Fakten antworten? Darf bzw. soll der Voicebot eine:n Anrufer:in an eine:n Mitarbeiter:in weiterleiten oder nicht? Soll er einen Rückruf initiieren? Dann muss er nach der Telefonnummer fragen. Und idealerweise zum gewünschten Zeitpunkt gleich über die cloudbasierte Telefonanlage den Rückruf starten. Soll der Chatbot einen erkannten Interessenten in einen Lead verwandeln, seine Daten im CRM anlegen? Oder muss er den Kontakt an eine:n Mitarbeiter:in übergeben? Er darf gern Produktinfos aus den FAQs oder Handbüchern nutzen, aber interne Unternehmensinfos behält er bitte für sich.
Und dann sind da noch die neuen Regeln des EU AI Acts, der eine gute Sache ist. Denn Fakt ist: Bislang werden die genutzten Daten häufig offen an die Generative KI bzw. deren Hersteller (etwa in den USA) übergeben. Auch bei Guardrails, also den Leitplanken, die den Einsatz einer KI-Lösung innerhalb bestimmter Vorgaben beschränken, sind Unternehmen von den Herstellern abhängig und können weder eigene Vorgaben noch Einschränkungen einführen. Schwer nachvollziehbar, geschweige denn nachweisbar, ist zudem, welche Daten genutzt werden und welche Kosten durch welchen Bot-Einsatz entstehen.
EU AI Act: KI einfach und rechtssicher einsetzen
Mithilfe eines AI Gateways entscheiden jetzt Sie – und nicht länger irgendein KI-Hersteller – über Ihr Schutzbedürfnis und die schützenswerten Informationen. Das betrifft Datenbanken, Ihr Wiki, alle möglichen Medien, Dokumente, PDFs. Über Gateways lässt sich das fein justieren. Solche AI Gateways bieten umfangreiche Möglichkeiten und Funktionen zum rechtskonformen Einsatz von KI. Sie dienen als eine Art Vermittler (Middleware) zwischen unterschiedlichsten Unternehmensanwendungen, z. B. E-Mail-Automatisierung, Chatbots, Voicebots, automatisierte Dokumentenerstellung/-bearbeitung, Social-Media-Apps oder andere kundenspezifische Anwendungen, und den verschiedenen Generativen KI-Modellen. So steuern Sie das Verhalten der KI und bauen eine Dialogführung auf. Gateways wählen dann das LLM aus, das für diese Aufgabe das am besten geeignete ist und sorgen dafür, dass die von Ihnen gewünschten Guardrails eingehalten werden und der Bot bei kritischen Nachfragen nicht etwa das Produkt eines Wettbewerbers empfiehlt. Tipp an dieser Stelle: Unterschätzen Sie niemals den Ehrgeiz von Nutzer:innen, die Dialogführung auszutricksen. Einem Mitarbeiter von mir ist es mal gelungen, einen Bot immer mit „Ooink, Ooink, Ooink“ antworten zu lassen. Der hat sich tagelang gefreut. Also der Mitarbeiter.
Kostentransparenz, Kostenkontrolle und Effizienz
Wie cool wäre es zudem, wenn wir wissen würden, wie viele Tokens wir beim Einsatz unserer KI wirklich verbraucht haben und welcher Bot welcher Abteilung welche Kosten verursacht hat? Mit einem Gateway ist das möglich. Sie können sogar Budgets vergeben und etwa dem Marketing sagen: Hier habt ihr eine bestimmte Summe für euren Bot – guckt, was ihr damit machen könnt. So geht Kostentransparenz, so gelingt die klassische Berechnung des Return on Investment. Denn nur so ist klar, welcher Bot-Einsatz sich wirklich rentiert und was vielleicht nur super-fancy ist, aber nichts beiträgt zum Erfolg. Und noch ein Tipp: KI sollte nicht nur zur Steigerung der betrieblichen Effizienz eingesetzt werden, sondern auch zur Verbesserung des Kundenerlebnisses durch kürzere Wartezeiten und präzisere Lösungen. Sie dürfen es intern gern auch andersherum verkaufen, wenn das hilft: KI sollte nicht nur zur Verbesserung des Kundenerlebnisses durch kürzere Wartezeiten und präzisere Lösungen eingesetzt werden, sondern auch zur Steigerung der betrieblichen Effizienz.
Fazit: Ja, der Einsatz von KI setzt die Bereitschaft voraus, sich mit KI zu beschäftigen. Aber dafür gibt es Expert:innen. Und nein, der Aufwand ist nicht größer als der Nutzen. Im Gegenteil: Es lohnt sich tatsächlich. Den Anschluss zu verlieren, ist nämlich keine Option.
Rainer Holler ist CEO der VIER GmbH. Der Diplom-Kaufmann und EMBA will mit VIER den neuen europäischen Standard für Kundeninteraktion setzen. Um das zu erreichen, legt Rainer Holler großen Wert auf gegenseitiges Vertrauen, Mitwirkung und Transparenz – in Bezug auf Mitarbeiter:innen, Kunden und Partner. Er fördert eine Unternehmenskultur, die Freiräume lässt und Fehler verzeiht. Rainer Holler denkt Kundendialog und Kommunikation neu.
