Microsoft Copilot mit externen Daten

Kontext-Daten steigern Leistung

Hinter diesen Erfolgen steht natürlich die Leistungsfähigkeit von großen KI-Sprachmodellen (Large Language Models, LLMs) wie GPT-4, die mit riesigen Datenmengen vortrainiert werden und so lernen, Inhalte zu verstehen, zusammenzufassen, vorherzusagen und zu generieren. Doch dahinter steckt noch mehr: Microsoft gelingt es, die Leistung von LLMs noch einmal erheblich zu steigern. Die Methode: Die KI erhält (auf kontrollierte und sichere Weise) Zugang zu den Daten und Dokumenten einer Organisation, die für die Anwender und ihre Aufgabenstellungen besonders relevant sind. Damit wird das KI-Modell in der Unternehmensrealität „geerdet“ („Grounding“), was die Qualität seiner Antworten weiter verbessert.

In einem früheren Blogbeitrag über das „Copilot-System“ haben wir erklärt, wie das grundsätzlich funktioniert: wie Microsoft die bekannten Beschränkungen von KI-Modellen (irrelevante, veraltete, unangemessene oder falsche Antworten, „Halluzinationen“) überwindet und welche Rolle das sogenannte „Prompt Engineering“ dabei spielt. Unser Tipp an Sie lautete: Machen Sie Copilot relevante, aktuelle Daten zugänglich. Heute soll es darum gehen, was Sie dazu wissen und beachten sollten.

Das Prinzip: Retrieval-Augmented Generation

Im genannten Artikel wurde es schon kurz erwähnt: Das Prinzip hinter Microsofts KI-Grounding-Technik für Copilot heißt „Retrieval-Augmented Generation“, kurz RAG. Weil es für die Datennutzung durch Copilot essenziell ist, wollen wir heute etwas ausführlicher darauf eingehen.
Das „Generation“ in RAG bezieht sich auf die Antworten eines LLMs: Deren Generierung soll verstärkt bzw. verbessert werden („Augmentation“), und zwar durch den Abruf („Retrieval“) von relevanten und aktuellen Informationen. 

Datenquellen für Microsoft Copilot 

Auch Sie könnten Ihre Copilots mit Wikipedia verknüpfen. Noch nützlicher aber ist es, der Copilot-KI unternehmenseigene Dokumente aus dem Arbeitsalltag Ihrer Anwender zugänglich zu machen. Denn nur dann verfügt sie auch über den notwendigen Kontext, um Anfragen Ihrer Anwender richtig zu verstehen und wirklich nützliche Hilfestellungen zu liefern.
Die Daten für RAG erhält Copilot über den Microsoft Graph. Diese Plattform sorgt in Microsoft 365 und der Microsoft Cloud für den sicheren und performanten Datenzugriff. Standardmäßig sind damit für Copilot bereits sämtliche Daten der M365-Anwendungen verfügbar, die die der anfragende Anwender in seinem Berechtigungskontext nutzen darf, etwa Office-Dokumente, E-Mails oder SharePoint-Seiten.

Stellen Sie sich vor, Copilot soll für Sie das letzte Meeting in Teams zusammenfassen. Das Tool wertet dafür dann nicht nur die Sprachaufzeichnung der Besprechung inkl. Chatverlauf aus, es kann auch zugehörige Dokumente, Termine oder E-Mails analysieren, die etwa von den Teilnehmern kürzlich an Sie gesendet wurden. Damit kennt Copilot den Kontext einzelner Besprechungsthemen, macht weniger Fehler bei der Zusammenfassung und kann gegebenenfalls relevantere Folgemaßnahmen vorschlagen.

Auch auf externe Daten – außerhalb der Microsoft Cloud – kann über Microsoft Graph zugegriffen werden. Denn natürlich gehören zum Arbeitskontext Ihrer Anwender auch Daten aus ERP-, CRM-, Personal- oder Projektmanagementsystemen, Dokumente in Azure-Speicherressourcen und vieles mehr. Um solche externen Systeme anzubinden, müssen sogenannte Konnektoren für Microsoft Graph eingerichtet werden. Microsoft bietet bereits diverse sofort einsatzbereite Graph-Konnektoren für populäre Verbindungen an, zum Beispiel zu Salesforce, Jira, Confluence oder SQL-Datenbanken. Über eine API können zudem benutzerdefinierte Konnektoren erstellt werden. Darüber hinaus ist eine wachsende Zahl von Third-Party-Konnektoren verfügbar, derzeit bereits über 100.

Ein Index auch für Ihre Daten 

Eine weitere Möglichkeit, eigene Daten und Funktionen für Copilot bereitzustellen, sind Plugins, die Webdienste über ihre API ansprechen. Plugins erlauben den Echtzeitzugriff auf bestimmte Daten, haben aber auch einen nicht zu unterschätzenden Nachteil: Sie erlauben keine unkomplizierte Indizierung. 

Die bloße Anbindung an Datenquellen reicht für KI-Anwendungen noch nicht aus, denn die jeweils benötigten Informationen müssen in Sekundenbruchteilen gefunden und abgerufen werden können. Dafür sorgt Indizierung. Bei der oben erwähnten ersten Vorstellung von Retrieval-Augmented Generation wurde für die angebundenen Wikipedia-Artikel ein Vektor-Index erzeugt, denn vektorbasierte Indizes eignen sich gut dafür, die Bedeutung von Textsegmenten zu erfassen und zu vergleichen. Das funktioniert auch für Ihre Unternehmensdaten: Daten- bzw. Textfragmente aus Ihren Dokumenten werden bis hinunter auf Wortebene in mehrdimensionale numerische Repräsentationen umgewandelt (auch Vektoreinbettungen genannt). Bei einer Suchanfrage vergleicht die Retrieval-KI die numerische Ähnlichkeit („Entfernung“) zwischen der vektorisierten Anfrage und den Vektoreinbettungen von Dokumenten und erfasst damit auch semantische Ähnlichkeiten zwischen den entsprechenden Textpassagen.

Auch das Copilot-System nutzt die Vektor-Indizierung. Das erfolgt mit Hilfe von Semantic Index. Dieser Index ergänzt die herkömmliche Indizierung durch Microsoft Graph – Volltext-Keywordsuche plus userbezogene Signale – durch Vektoreinbettungen. 

Kurz: Machen Sie mithilfe der Zugriffsberechtigungen Ihrer Anwender und gegebenenfalls über Konnektoren bestimmte Daten und Dokumente in Microsoft Graph zugänglich, dann kann auch Copilot diese nutzen und es steht dafür neben der Volltextsuche auch der Vektor-Index zur Verfügung. Nutzen Sie dagegen Plugins, können Sie deren Daten im Standard nur abrufen, aber nicht ohne technische Tricks über Microsoft Search indizieren.