Musik Identifikation

Advanced Big Data algorithms for the identification of originals from cover and live songs

Prof. Dr. Peter Mandl

Neues Forschungsprojekt mit Forschungspartner IT4IPM

Robuste und skalierbare Algorithmen zur Erkennung von Cover und Live-Versionen auf der Grundlage von Gesangsspuren

Hintergrund

Musik wird überall gespielt, als Live-Musik auf Konzerten, auf vielfältige Weise im Internet und auf den klassischen Kanälen. Verwertungsgesellschaften wie die GEMA müssen die Nutzungen jedes Musikwerks genau kennen. Nur so sind sie in der Lage die verwendeten Stücke den Urhebern zuzuordnen und Tantiemen entsprechend zu verteilen, gerade bei Cover- oder Live-Versionen, ist die Meldung dieser, noch ein komplizierter, teilweise manueller Prozess. Eine automatisierter Meldeprozess würde für die Verwertungsgesellschaften und ihre Mitglieder eine deutliche Aufwandsreduzierung bringen. Allerdings sind aktuell verfügbare Lösungsansätze und Algorithmen noch nicht in der Lage, die Originalwerke von Cover- oder Live-Versionen robust und effizient zu erkennen.

Ziele

Der Fokus des gemeinsamen Forschungsprojekts liegt daher in der Verbesserung bestehender Ansätze zur Erkennung von Cover- und Live-Versionen, mit dem Ziel, auf Basis bestehender Algorithmen einen skalierbaren und zuverlässigeren neuen Algorithmus für diese Aufgabenstellung zu entwickeln. Zunächst werden die Gesangsspuren zur Identifizierung des Originalwerks verwendet. Die Komplexität des Problems erfordert moderne Deep Learning Techniken. Unser erster Ansatz ist auf Basis von klassischen Fingerprinting Algorithmen Gesangsspuren anstelle von melodischen Eingaben zu verwenden. Ein weiterer Ansatz sieht die Anwendung aktueller Sprache-zu-Text-Netzwerke vor, um Songtexte zu extrahieren und sie mit einer Textdatenbank abzugleichen, um Cover oder Live-Versionen zu identifizieren. Das Training von Neuronalen Netzen erfordert eine große Menge an Daten. Daher ist ein Verfahren zu entwickeln, das mit dieser Datenmenge umgehen kann. Es ist auch vorgesehen, mit verfügbarer Metainformation zu arbeiten, um die vorhandenen Cover-Datensätze automatisch zu erweitern. Daneben werden Augmentierungsmethoden, aus anderen Forschungsbereichen, eingesetzt werden um den Cover- Datensatz nochmals zu erweitern.

Ausblick

Aktuell befindet sich das Projekt in einer frühen Entwicklungsphase, bis Ende des Jahres sollen bestehenden Ansätze evaluiert und der Grundstein für die beschriebenen Ansätze gelegt werden. Danach wird angestrebt ein Prototyp der Cover-Erkennung zu entwickeln und diesen iterativ zu verbessern.

Eingesetzte Methoden, Technologien und Werkzeuge

Web-Crawlen, CNNs, RNNs, Transformer-Neural-Networks, Deep Learning Embeddings, Fingerprinting, Nearest-Neighbour-Search

Förderungsart

Stiftungspromotion

Laufzeit des Vorhabens

2021 bis 2025

Kooperationspartner

IT4IPM – IT FOR INTELLECTUAL PROPERTY MANAGEMENT GmbH