Was bedeutet RAG?
RAG steht für „Retrieval-Augmented Generation“. Dahinter steht das Konzept, das Wissen aus Spezialanwendungen mit generischen Large Language KI-Modellen zu verbinden (die KI-Modelle zu augmentieren).

Was ist eine RAG Pipeline?
Die Bearbeitung einer Nutzeranfrage von der Eingabe bis zum gewünschten Output erfolgt in mehreren klar abgrenzbaren Stufen, die einander zuarbeiten. Gemeinsam bilden sie die RAG Pipeline.

Wo liegt der Unterschied zu traditionellen KI-Systemen?
Traditionelle KI-Systeme wissen nur, worauf sie trainiert wurden. Ihr enormes Weltwissen stammt zumeist aus vielfältigen, öffentlich zugänglichen Quellen im Internet. Von Spezialwissen, wie es in geschlossenen Anwendungen vorliegt, verstehen sie nichts.

Was sind die Vorteile von RAG-Systemen?
RAG-Systeme nutzen das Sprachverständnis von Large Language Modellen, geben diesen aber zusätzliches Wissen an die Hand, damit sie ihre Stärken beispielsweise als fachspezifische Chatbots, Übersetzungssysteme oder spezialisierte Programmassistenten ausspielen können.

Warum spielen Large Language Modelle beim Companion eine wichtige Rolle?
Nur moderne Large Language Modelle (LLM) verfügen über die Fähigkeit, komplexe Sprachaussagen aufzuschlüsseln und Sinnzusammenhänge zu erkennen. Sie bilden sozusagen die Speerspitze der modernen KI-Technologie.

Wie schützt der Companion die Kundendaten im Hinblick auf den Einsatz externer LLMs?
Die genutzten LLMs werden durch den Companion zwar mit Spezialwissen aus dem Finanzbereich versorgt – nicht jedoch mit konkreten Details zu spezifischen Kundendaten oder anderen Interna. Diese verbleiben stets innerhalb der RAG Pipeline von First Cloud und dringen nicht nach außen.

Arbeitet der Companion for First vollständig KI-basiert?
Nein! KI-Funktionen werden im Companion ausschließlich für die Sprachverarbeitung, die Erstellung von Ausführungsplänen und die visuelle Aufbereitung der Ergebnisse genutzt. Darum herum erfolgen viele Verarbeitungsschritte mit den Methoden der klassischen Informatik, weil diese häufig schneller, präziser und ressourcenschonender zum Ziel führen.

Muss ich beim Umgang mit dem Companion sehr auf meine Wortwahl achten?
Nein, und das ist einer der maßgeblichen Vorteile von KI-Sprachmodellen. Außerdem beherrscht der Companion viele Synonyme und Fachbegriffe, mit denen er externe Sprachmodelle bei der Interpretation Ihrer Anfragen unterstützt. Es lohnt sich, ein wenig mit dem Companion herumzuexperimentieren und zu entdecken, wie man mit möglichst wenigen Worten zum gewünschten Ziel kommt.

Kann ich mit dem Companion ungewollt Daten löschen oder fremde Daten einsehen?
Nein, das ist nicht möglich. Der Companion ruft derzeit nur Daten ab und berücksichtigt dabei die auf Nutzerebene definierten Zugriffsrechte.

Wie wird der Companion vor Betrug und Manipulation geschützt?
Der Companion gibt Ihre Anfragen nicht ungefiltert an externe Sprachmodelle. Unerlaubte Zeichen, SQL- oder HTML-Befehle, manipulative Anweisungen an die KI und vieles mehr werden zuvor aussortiert.

Was geschieht, wenn der Companion mich nicht versteht?
Dann wird er Sie freundlich auf die betreffende Stelle Ihrer Anfrage hinweisen. Gelegentlich wird er auch nachfragen und Ihnen Auswahlmöglichkeiten anbieten.

Kann ich mehrere Anfragen gleichzeitig an den Companion richten?
Ja, das ist möglich, weil der Companion asynchron arbeitet und mehrere Anfragen in separaten Prozessen gleichzeitig ablaufen können.

Kennen externe Sprachmodelle die Struktur der First Datenbank?
Nein, das genutzte LLM kennt ausschließlich die Namen der Werkzeuge, welche für die Datenabfrage innerhalb der RAG Pipeline eingesetzt werden. Wie diese Werkzeuge die Daten konkret ermitteln und in welcher Verbindung die Daten zueinanderstehen, bleibt für diese externen Module transparent.

Fließen die vom Companion übermittelten Daten in das Training und damit in das Wissen der KI ein?
Nein. Bei der bezahlten Nutzung eines externen LLM wie im Falle des Companion for First sichert der KI-Anbieter zu, diese Daten in keiner Weise zu speichern oder für das Training seines Modells zu verwenden. Sie werden sofort wieder gelöscht und damit vergessen.

Sind bei der Tool Execution KI-Funktionen im Spiel?
Nein, die Tool Execution ist ein deterministischer Prozess nach den Methoden der klassischen Informatik. Dieser Teil der Verarbeitungskette kommt vollständig ohne KI-Funktionen aus und ist daher auch frei von Unschärfen oder der Gefahr von „Halluzinationen“.

Ist die Tool Execution komplett reproduzierbar?
Ja, eben weil es sich um einen vollständig deterministischen Prozess handelt. Natürlich können sich zwischen zwei wiederholten Durchläufen aktuelle Bestände und Marktwerte ändern. Beim Bezug auf historische Kurs- und Bestandsdaten werden jedoch keinerlei Abweichungen zu vorherigen Ergebnissen auftreten.

Verlassen die ermittelten Daten im Rahmen der Tool Execution den Companion?
Nein, die ermittelten Daten werden bei der Abarbeitung des Ausführungsplans zwar von Tool zu Tool weitergereicht. Sie verbleiben auf diesem Weg aber permanent im Hoheitsbereich von First Cloud. Erst das Endergebnis bzw. die daraus produzierten Tabellen und Grafiken werden dem Nutzer präsentiert und dringen so nach außen.

Werden die Ausführungspläne protokolliert?
Ja, alles in der RAG Pipeline fließt ins Audit-Log, von der Nutzeranfrage und deren Auflösung im Query Processing über die erstellten Ausführungspläne und die Zwischenergebnisse bei der Tool-Execution bis hin zu den präsentierten Endergebnissen. Alle diese Daten werden revisionssicher archiviert.

Wie wird die Sicherheit beim Datenzugriff gewährleistet?
Indem bei jedem Verarbeitungsschritt innerhalb der RAG Pipeline die User-ID des initiierenden Nutzers mitgeführt wird. Die im Rahmen der Tool Execution ausgeführten Tools prüfen jeweils anhand der damit verbundenen Nutzerrechte (auf Gruppenebene), ob der gewünschte Zugriff auf die jeweiligen Datenbankinhalte oder andere Informationen gestattet ist.

Wie wird die Sicherheit beim Datenzugriff gewährleistet?
Indem bei jedem Verarbeitungsschritt innerhalb der RAG Pipeline die User-ID des initiierenden Nutzers mitgeführt wird. Die im Rahmen der Tool Execution ausgeführten Tools prüfen jeweils anhand der damit verbundenen Nutzerrechte (auf Gruppenebene), ob der gewünschte Zugriff auf die jeweiligen Datenbankinhalte oder andere Informationen gestattet ist.

Warum werden die First-internen Tools nicht auch über MCP angebunden,so wie die externen Tools?
Weil bei den internen Tools gar nicht unbedingt eine Auswahl durch das externe LLM gewünscht wird. Die große Anzahl an Tools würde außerdem den MCP-Server überfrachten.

Wie entscheidet der Companion über das optimale Ausgabeformat und den Diagrammtyp?
Das Companion bringt ein externes LLM mit der Nutzeranfrage und den gefundenen Metadaten auf der einen Seite und den verschiedenen Formatbeschreibungen auf der anderen Seite zusammen. Auf dieser Basis wählt das LLM intelligent das am besten geeignete Format aus.

Gibt der Companion die ermittelten Daten an die KI weiter?
Nein, der Companion gibt nur die Spaltennamen der ermittelten Daten und weitere Metainformationen an das LLM weiter, nicht jedoch die eigentlichen Dateninhalte. Diese verbleiben die gesamte Zeit über im geschützten Hoheitsbereich des Companions. Dort erfolgt anschließend auch die konkrete Aufbereitung und Formatierung dieser Daten, nicht innerhalb des LLM.

Wie viele verschiedene Ausgabeformate beherrscht der Companion for First?
Singuläre numerische Ergebnisse gibt der Companion als Text in einem Antwortsatz aus, umfangreichere Datenbestände als Tabelle und zusätzlich noch als Grafik, sofern dies einen Mehrwert für den Nutzer verspricht.

Kann ich ein bestimmtes Ausgabeformat im Rahmen der Nutzer­anfrage vorgeben?
Ja, eine Anfrage wie „zeige die Verteilung der Assetklassen als Kuchendiagramm“ wird auch ein solches Kreis- bzw. Tortendiagramm hervorbringen. Darüber hinaus können Daten als Balkendiagramme, Liniendiagramme, gestapelte Balkendiagramme oder Histogramme abgerufen werden.

Kann ich den Output des Companions weiterverarbeiten?
Ja, tabellarische Daten können in Form von Excel-Tabellen lokal auf der Festplatte oder auf einem Server gespeichert, Grafiken als PNG-Dateien gesichert und beliebig weiterverarbeitet werden.