Microsofts neue KI-Assistenten unter der Marke Microsoft Copilot werden als Gamechanger gehandelt – und das zu Recht. Damit aber die Technologie ihre Wirkung optimal entfalten kann, muss sie richtig eingesetzt werden. Dafür sollte man wissen, wie sie funktioniert. In diesem Beitrag bringen wir etwas Licht ins Dunkel. Wir erklären, was Microsoft Copilot ist und geben konkrete Tipps zur optimalen Nutzung.
Die Antwort scheint einfach: Als Copilot bezeichnet Microsoft KI-Assistenten, die Anwendern in ihrer alltäglichen Arbeit zur Hand gehen sollen, und das möglichst überall: Es gibt mittlerweile Copilots für Office, Vertrieb, ERP und CRM oder Service, für Entwickler, Security-Spezialisten und mehr.
Aber Copilot ist nicht gleich Copilot. Was zunächst verwirrend klingt, lässt sich leicht auflösen, wenn wir einen Blick in die Geschichte werfen. Am Anfang steht Microsofts Partnerschaft mit OpenAI.
Seit der Gründung des KI-Unternehmens 2015 als spendenfinanzierte Non-Profit-Organisation unterstützte Microsoft das Unternehmen, vor allem mit Computing-Ressourcen. 2019 und 2023 investierte Microsoft dann Milliardenbeträge und schloss eine Partnerschaft, um gemeinsam KI- und Cloud-Supercomputing-Technologien voranzutreiben. OpenAI ist vor allem für die Leistungsfähigkeit seiner generativen Sprachmodelle (Large Language Models, LLMs) der GPT-Familie und für den KI-Chatbot ChatGPT bekannt (GPT steht für „Generative Pre-Trained Transformer“).
Im Zuge dieser Partnerschaft integriert Microsoft KI-Lösungen von OpenAI umfassend in seine Produkte – zum einen mit Azure OpenAI Service und zum anderen mit speziellen Werkzeugen – allen voran den Copilots. Microsoft hat dafür eine Exklusivlizenz, um auch den Code von GPT und nicht nur die API für eigene Lösungen zu nutzen.
Das erste Produkt aus dem Microsoft Umfeld mit dem Namen „Copilot“ war der GitHub Copilot von 2021. Der war allerdings noch gar kein richtiger Copilot in dem Sinne, wie Microsoft das Konzept heute versteht. Denn die erste Version von GitHub Copilot lief mit dem noch nicht chatfähigen GPT-3-Derivat „Codex“ und hatte keinen Zugang zu externen Daten – beides definierende Merkmale des „Copilot-Systems“. (Quellen: Microsoft)
Die erste tatsächliche Inkarnation des „Copilot-Systems“ war Bing Chat, erschienen im Februar 2023. Bing Chat wurde ab Sommer 2022 mit einer frühen Version von GPT-4 trainiert, das die Entwickler zwar mit seiner Leistungsfähigkeit beeindruckte, aber noch immer die üblichen Beschränkungen von KI-Sprachmodellen zeigte: Sie werden zwar mit riesigen Datenmengen, v. a. aus dem Internet trainiert, haben davon aber nur ein statistisches und kein semantisches (bedeutungsbezogenes) Verständnis und wissen zudem vergleichsweise wenig über den Kontext einer konkreten Anfrage. Deshalb geben sie oft irrelevante, falsche oder übermäßig „kreative“ Antworten (sie „halluzinieren“). Und zu guter Letzt wissen LLMs erst einmal nichts über Ereignisse nach Abschluss ihres Trainings (bei OpenAI-Modellen bis einschließlich GPT-4 war das September 2021, beim derzeit neuesten Modell GPT-4-Turbo April 2023).
Microsofts Copilot soll diese Beschränkungen überwinden.
Deshalb entwickelte Microsoft zusammen mit OpenAI für Bing Chat eine „Prometheus“ genannte Technologie, um der KI Zugang zu den aktuellen und umfassenden Websuch- und Ranking-Informationen im Bing-Backend zu geben und so die Leistung eines führenden LLM mit der Leistung eines führenden Webindexes zu kombinieren. Microsoft nennt das „Grounding“ – die KI wird mit aktuellen und relevanten Daten „geerdet“.
Die nächste Stufe des Copilot-Systems – und darüber wollen wir im Rest des Beitrages sprechen – kam mit Copilot für Microsoft 365. Dieser Copilot ist in allen Apps von Microsoft 365 verfügbar (und anwendungsübergreifend in Microsoft 365 Chat). Er vereint diese Anwendungen mit den Sprachmodellen von OpenAI sowie mit der Datenintegrationsplattform Microsoft Graph und über diese mit dem Semantic Index for Copilot. Konnektoren in Microsoft Graph können die KI sicher und datenschutzkonform mit allen potenziell relevanten Datenquellen verbinden: unternehmenseigenen Datenbanken, externen Quellen und dem Internet. Microsofts Copilot-System kümmert sich darum, all diese Dienste zu orchestrieren, um die Antwort der KI so nützlich wie möglich zu machen.
Vielleicht haben Sie schon von Prompt Engineering gehört – einer der wichtigsten Techniken, das Verhalten von KI-Modellen zu beeinflussen und ihren Output zu verbessern. Hintergrund: Ist das Training eines KI-Basismodells erst mal abgeschlossen, gibt es nur zwei Wege, ihm neue Daten mitzugeben und neue Fähigkeiten beizubringen: einerseits das sogenannte Fine-Tuning (Feinabstimmung, Nachtraining) und andererseits den Input in der Anfrage (dem „Prompt“). Dem Prompt kommt dabei besondere Bedeutung zu, denn nur hier können Sie Ihrem Modell vermitteln, was genau Sie gerade von ihm brauchen. Techniken zur Optimierung der Eingabe werden als Prompt Engineering bezeichnet.
Wer schon Erfahrungen mit LLMs gesammelt hat, wird festgestellt haben, dass bereits kleinere Änderungen am Prompt – wie klarere Instruktionen, genauere Beschreibungen des erwarteten Verhaltens und mitgelieferte Beispiele – erhebliche Qualitätsverbesserungen bei der Antwort des Modells bewirken können. Das Copilot-System perfektioniert das Prompt Engineering durch Grounding und kann dafür nicht nur die aktuellsten Daten aus dem Internet nutzen (wie bei Prometheus), sondern vor allem auch sämtliche Unternehmensdaten, auf die die anfragende Person zugreifen darf, zum Beispiel Office-Dokumente, E-Mails, Daten aus sozialen Netzwerken oder SharePoint-Seiten (dafür sorgt Microsoft Graph).
Und wie entscheidet Copilot, welche dieser vielen Daten wirklich relevant für eine konkrete Anfrage sind? Mithilfe des semantischen Index für Copilot: Dieser nutzt eine moderne Art des Datenmanagements (Vektordatenbank) und eine eigene KI, um semantische Ähnlichkeiten zwischen einer Suchanfrage und den Inhalten von Dokumenten und anderen Dateien – all den Daten, die Microsoft Graph bei einer Suche anbietet – zu gewichten. Die für den Kontext einer Anfrage relevantesten Inhalte werden dem Prompt hinzugefügt und dieser an das LLM geschickt. (Das Prinzip hinter dieser Art von Prompt Engineering heißt RAG – Retrieval Augmented Generation.) Und auch die Antwort der KI wird noch einmal bearbeitet und insbesondere auf Compliance, Datenschutz und verantwortungsvolle KI-Nutzung überprüft. (Quellen: Microsoft)
Bei der Copilot-Nutzung sind diverse Aspekte zu beachten: Strategische, lizenzrechtliche, organisatorische und technische Fragen sind zu klären, um Chancen optimal zu nutzen und Risiken zu minimieren (dabei unterstützt Sie der SoftwareOne Copilot Advisory Service). An dieser Stelle soll ein besonders wichtiger technischer Aspekt im Vordergrund stehen: Daten.
Daten in möglichst hoher Qualität sind für die Leistung jeder KI von entscheidender Bedeutung – auch hier gilt die alte Informatiker-Weisheit „Garbage in, garbage out“. Microsoft Copilot muss letztlich mit dem arbeiten, was Sie ihm zur Verfügung stellen, was er also jeweils im Prompt einer Benutzeranfrage vorfindet. (Fine-Tuning ist für das Copilot-LLM nicht verfügbar.) Die gute Nachricht: Sie haben verschiedene Möglichkeiten, Copilots für Ihre Anforderungen zu optimieren – wir nennen Ihnen die vier wichtigsten:
Stellen Sie sicher, dass Copilot im Benutzerkontext jedes Anfragenden auf genau die (und nur die) Daten Zugriff hat, die für seinen Arbeitskontext relevant sind (mehr dazu lesen Sie in unserem Blogbeitrag Vorbereitungen für Copilot: Alles dreht sich um Daten).
Über Microsoft Graph kann dieser im Standard nur auf Daten in Microsoft 365 zugreifen. Mithilfe von Microsoft Graph Konnektoren können Sie auch externe Daten z. B. aus lokalen oder Azure Datenbanken, Wikis, Jira, Salesforce oder benutzerdefinierten Quellen zugänglich machen.
Damit können Sie die Daten von externen Diensten in Echtzeit direkt über ihre API (Application Programming Interface, Programmierschnittstelle) abrufen. Plugins lassen sich auf verschiedene Weise leicht erstellen. Vielleicht haben Sie ja z. B. bereits Message Extensions in Microsoft Teams eingerichtet – die könnten Sie auch als Copilot-Plugin nutzen.
Dafür steht Ihnen in Copilot für Microsoft 365 das Microsoft Copilot Studio zur Verfügung. Microsoft Copilot Studio ist ein Low-Code-Tool, das heißt Sie benötigen keine Programmierkenntnisse, um Copilots zu erstellen und anzupassen. Unter anderem können Sie damit relevante Themen für Ihren Copilot festlegen, verschiedene Datenquellen anbinden, Plugins nutzen und Prompt-Instruktionen modifizieren.
Unter der Haube von Microsoft Copilot dreht sich alles um das Prompt Engineering – wer das Prinzip verstanden hat, dem stehen zahlreiche Wege offen, seine Copilots an die eigenen Anforderungen anzupassen. Gleichzeitig müssen sich aber ihre Anwender nicht mit den Feinheiten von Prompt Engineering befassen – hinter den Kulissen sorgt das Copilot-System dafür, dass sie von ihrem „täglichen AI-Begleiter“ trotzdem genau die Hilfe bekommen, die sie gerade benötigen.
KI-Anwendungen wie Microsoft Copilot sind ein zentrales Element für den Arbeitsplatz der Zukunft. Aber nicht das einzige. Mehr erfahren Sie in unserem Whitepaper.
KI-Anwendungen wie Microsoft Copilot sind ein zentrales Element für den Arbeitsplatz der Zukunft. Aber nicht das einzige. Mehr erfahren Sie in unserem Whitepaper.
