1. August 2024
Meine Erfahrungen mit dem Copilot Studio und generativen AI-Antworten
Nachdem ich mich intensiver mit den Copilot Studio-Generativen AI-Antworten und verschiedenen Quellen auseinandergesetzt habe, möchte ich meine Erfahrungen teilen. Ein besonderer Fokus lag auf dem Confluence Graph-Connector.
Die Praxis ist oft komplexer als die Ankündigungen
Der Confluence Graph-Connector für Microsoft Search (Lizenzen?) scheint auf den ersten Blick einfach zu sein. Doch bei näherer Betrachtung kommen die ersten Hürden. Die Einrichtung mit einem API-Key ist zwar relativ einfach, aber bei der Zuordnung der Quelle einer generativen Antwort kommt es zu einem Authentifizierungsfehler. Die manuelle Authentifizierung wird benötigt, wobei auch hier eine zusätzliche Anforderung besteht: „ExternalItem.Read.All“ muss hinzugefügt werden.
Die Qualität der Ergebnisse
Um die Qualität der Ergebnisse zu vergleichen, habe ich Seiten aus meinem Confluence-Space als PDF exportiert und über den File-Upload hochgeladen. Diese Quellen habe ich dann im Chatbot mit generativen Antworten verbunden. Als weitere Quelle habe ich SharePoint angebunden und die gleichen PDF-Dokumente hochgeladen.
Welche Quelle liefert die besten Ergebnisse?
Die Frage nach der besten Quelle ist einfach zu beantworten. Der File-Upload liefert die besten Ergebnisse, da die Dokumente nach dem Hochladen indiziert und mutmaßlich auch vectorisiert werden. Die Graph-Suche in Confluence ist dagegen einfacher aufgebaut, was zu schlechteren Ergebnissen führt. SharePoint liefert umfangreichere und bessere Ergebnisse, die an das File-Upload-Ergebnis herankommen.
Weitere Besonderheiten
SharePoint verlinkt die Quellen, so dass diese über einen Link direkt im Browser geöffnet werden können. Bei Confluence wird nur ein kurzer Abstrakt angezeigt, ohne Verlinkung. Beim File-Upload gibt es keine Verlinkung, aber einen umfassenden Textabzug auf den sich die Antwort bezieht.
Fazit
Der Einsatz des Confluence-Connectors hat mich nicht überzeugt. Für einfache Szenarien kann er eine Alternative sein, insbesondere bei dynamischen Dokumenten. Für bessere Ergebnisse lohnt sich der Umweg über den File-Upload, insbesondere bei Inhalten, die sich nicht oft ändern. SharePoint bietet sich als Mittelweg an, da hier die Dokumente von allen berechtigten Usern gepflegt werden können. Es kommt auch auf das Einsatzgebiet des Chatbots an, da SharePoint und Confluence-Connector nur mit Authentifizierung der User genutzt werden können.
Anbei zwei Beispiele:
