Ampel

Knowledge-Discovery-Methoden und automatische Modell-Generierung für Multichannel-Marketing

Prof. Dr. Peter Mandl

Motivation:

Soziale Netzwerk wie Facebook, Twitter, Instagram & Co. werden heute von nahezu allen Unternehmen im Marketing genutzt. Allerdings entstehen dabei teilweise hohe Kosten. Es stellt sich die Frage, welche Instrumente man einem Unternehmen an die Hand geben kann, um eine Vorhersage für den Nutzen von Social-Media-Investitionen zu ermitteln.

Zielsetzung des Projekts:

Ziel der Forschung war es, die Wirkungsweise von Social-Media-Kanälen (SM-Kanälen) für Unternehmen zu erforschen. Es sollte eine Lösung gefunden werden, die dabei unterstützt, bei Einsatz eines begrenzten Etats einen entsprechenden Nutzeffekt nachzuweisen. Es sollte eine Knowledge-Discovery-Methode entwickelt werden, die in multiplen SM-Kanälen automatisch die Wirkungsketten erkennt und diese anzeigt.

Vorgehensweise:

Für die Messung des Erfolgs eines Beitrags wurden neue Kennzahlen definiert. Im ersten Schritt wurden Daten aus dem Bereich Automotive (BMW, Daimler-Benz, VW, Audi) erfasst – erst später wurden weitere Datensätze ergänzt.

Im Projektverlauf wurden Trainingsdaten gesammelt sowie annotiert und es erfolgte eine Erprobung und Evaluation von Algorithmen für das maschinelle Lernen. Die Sammlung von Facebook-Daten wurde mit Hilfe der Facebook Graph API realisiert. Bei dieser API handelt es sich um eine Web-Schnittstelle, die gemäß REST-Standard implementiert ist und welche die Daten von Facebook in strukturierter Form zur Verfügung stellt. Die Datensammlung wurde durch einen Algorithmus für die weitere Sammlung erweitert. Die betrachteten Seiten werden in regelmäßigen Abständen abgerufen, um neue Beiträge und Interaktionen der Benutzer zu sammeln.

Im Projekt wurde die Entscheidung getroffen, den Ansatz zunächst auf der Basis von Facebook auszuarbeiten und mit Hilfe eines Proof-of-Concept zu evaluieren, um dann in einem weiteren Schritt die übrigen SM-Kanäle zu integrieren. Es wurde ein generisches Datenmodell entwickelt, in dem die Daten von verschiedenen SM-Kanälen einheitlich gespeichert werden können.

Für die Sentiment-Analyse wurde der erhobene Datensatz bereinigt und auf Satzebene aufgeteilt. Die 6.000 Sätze des Datensatzes wurden nach Sentiment in die drei Stufen positiv, neutral und negativ klassifiziert. Als lernfähige Mechanismen wurden neuronale Netze (Convolutional und Recurrent) eingesetzt. Einige notwendige Datenergänzungen mussten manuell erfolgen und konnten nicht automatisiert hinzugefügt werden. Hierzu zählten die Zuordnung zu einer Kategorie und die Bewertung des Erfolgs. Im Rahmen der Erstellung des Goldstandards durch die Experten, wurde jeder der ca. 6.000 Beiträge einer von elf Kategorien zugeordnet. Ein erstes Modell für die automatisierte Kategorisierung neuer Beiträge, wurde auf Basis von Support Vector Machine (SVM) und Logistischer Regression erprobt, wobei eine korrekte Zuordnung zu den Kategorien erfolgreich und nicht erfolgreich von ca. 30% (Support Vector Machine), bzw. 15% (Logistische Regression) erreicht werden konnte. Die geringe Quote korrekt zugeordneter Beiträge ist auf die zum Teil unterschiedliche Einschätzung der Kategorien durch die Experten zurückzuführen. Um eine möglichst eindeutige Zuordnung der Beiträge zu einzelnen Kategorien zu erlauben, wurden die Kategorien anschließend überarbeitet. Im weiteren Verlauf konnte bestimmt werden, dass die Kategorie keinen signifikanten Einfluss auf den Erfolg eines Beitrags hat. Daher wurde die weitere Entwicklung dieses Modells verworfen.

Auf der Grundlage des Entwurfs der Zielvorstellung wurde ein prototypisches Werkzeug implementiert. Der Benutzer wird damit in die Lage versetzt, bereits beim Entwurf eines neuen Beitrags eine Bewertung über dessen potentiellen Erfolg zu erhalten, noch bevor der Beitrag veröffentlicht wird. Die Prognose kann drei Werte annehmen, die von nicht erfolgreich über teilweise erfolgreich bis erfolgreich reichen. Dargestellt wird das Ergebnis durch eine Ampel, welche die Farben Rot (nicht erfolgreich), Gelb (teilweise erfolgreich) und Grün (erfolgreich) annehmen kann. Die Erkenntnisse aus den Abweichungen zwischen der Prognose und der Bewertung können anschließend verwendet werden, um das Modell für die Prognose zu optimieren.

Für die Erfolgsbewertung wurden zwei Modelle gebildet, die sich durch den Zeitpunkt der Bewertung unterscheiden. Das erste Modell erlaubt den Erfolg eines Beitrags noch vor seiner Veröffentlichung, also a priori zu prognostizieren, wohingegen das zweite Modell den tatsächlichen Erfolg eines veröffentlichten Beitrags rückblickend, also a posteriori bewertet.

Die Modelle weisen eine sehr hohe Güte bei der Bewertung des Erfolgs auf.