Language Model Integration - Plan.Net

Wie kann das core4os Framework mit einem Language Model erweitert werden?

Die Plan.Net Journey ist Urheber des Open Source Frameworks core4. Dieses wird für die meisten Produkte für Kunden genutzt, wie z.B. das Hosting von Marketing Dashboards, Media-Mix Optimierung, Web-Apps, Customer Journey Visualisierungstools und vieles mehr.

Das Framework nimmt dem Programmierer bereits viele Komponenten ab - es beinhaltet unter anderem ein Rollenkonzept, verteilte Jobketten und vieles mehr.

Um die Zugänglichkeit der Daten in den Dashboards zu optimieren, ist eine Integration eines Language Models (Generative KI) in core4 geplant.

Eine denkbare Anwendung ist der Chat mit Dashboards, bei dem Kunden Nachfragen zu Datenvisualisierungen stellen können und das Language Model diese auf Basis der zugrundeliegenden Datenquelle beantwortet, z.B. Detailinformationen zu einer bestimmten Zielgruppe und ihrer Mediennutzung.

Eine weitere mögliche Anwendung ist die Unterstützung unserer Entwickler durch Beantwortung von Fragen zu core4 auf Basis der vorhandenen Dokumentation.

Ganz konkret geht es also um die Erweiterung des core4 Frameworks mit einem Language Model. Dazu gehört auch die Anbindung von verschiedenen Datenquellen, um die AI mit Informationen zu versorgen.

Ein Studierenden-Team des Masterkurses Deep Learning arbeitete mit Unterstützung ihres Lehrenden und einem Team der Plan.Net Journey folgende Lösungen:

Insgesamt wurden einige wesentliche Herausforderungen des Projekts gelöst und ein erstes Proof-of-Concept vorgestellt. So wurden beispielsweise einem Large Language Model (LLM) wie GPT-4 durch Verwendung eines Embedding-Modells in Kombination mit einem lokalen Vektorstore Zugang „neues“, von den Studierenden definiertes Wissen gegeben, um Fragen zu core4os zu beantworten. Außerdem erreicht, dass sich das LLM an den bisherigen Gesprächsverlauf „erinnert“ und so auf Rückfragen antworten kann. Die Qualität und Zuverlässigkeit der generierten Antworten waren zuletzt allerdings noch verbesserungswürdig. Hier sahen die Studierenden noch Potential für weitere Arbeit, insbesondere bei der Vor- und Aufbereitung des domainspezifischen Wissens.