Problem

Der Auftraggeber des EnBeeMo Klassifikations-Projekts war das Labor für Systems Engineering, (FK04 - Elektrotechnik und Informationstechnik). In der vorangegangen Challenge EnBeeMo wurde bereits eine grundlegende Methodik entwickelt, um die ein- und ausfliegenden Bienen eines Bienenstocks mit Hilfe von Methoden aus dem Bereich des Maschinellen Lernens zu erfassen. Die Basis bildeten dabei Informationen aus den Infrarotaufnahmen eines Bienenstocks.

Studierendenteams der Fakultät 07 für Informatik und Mathematik sollten nun auf dieser Arbeit aufbauen. Während ihres Praktikums im Rahmen der Veranstaltung Deep Learning wurde die Methode weiter optimiert, um die Bienen möglichst fehlerfrei lokalisieren zu können.

Deep Learning beschäftigt sich mit der Lösung komplexer Aufgaben mit Hilfe tiefer neuronaler Netze. Dabei werden vereinfachte Abstraktionen von parallel angeordneten Neuronen in einer großen Anzahl von Schichten sequentiell miteinander vernetzt. Die Verbindungsstärke zwischen den Neuronen ist variabel und lässt sich mit Hilfe eines Gewichts einstellen, was üblicherweise zu einer Vielzahl von zu optimierenden Parametern führt. Aber auch die Architektur der Netze selbst sowie der Aufbau der einzelnen neuronalen Schichten (im einfachsten Fall die Anzahl der Schichten) und die beteiligten Optimierungsmethoden sind meist über sogenannte Hyperparameter konfigurierbar. Ziel der Challenge war auch, den Einfluss dieser Hyperparameter auf die Erkennungsleistung in diesem Anwendungsfall genauer zu untersuchen.

Vorgehen

Nach der theoretischen Einführung in die Grundlagen des Deep Learnings während der Vorlesungszeit wurde im begleitenden Praktikum der Umgang mit den entsprechenden Programmier-Frameworks (je nach Wahl: Python mit Tensorflow oder Pytorch) anhand von Beispielen eingeübt. Nach einer kurzen Lernphase anhand von Beispielen wurde das Real Project EnBeeMo zusammen mit der genannten Problemstellung als Anwendungsszenario eingeführt.

Um die verschiedensten Aufgaben im Bereich des Deep Learnings (z.B. Training: Optimierung der Gewichte zwischen den Neuronen oder Inferenz: Anwendung des Modells auf eine gegebene Eingabe) zu beschleunigen, können leistungsstarke Grafikprozessoren zur Unterstützung verwendet werden. Die Studierenden erhielten Zugriff auf eine in AWS gehostete SageMaker-Instanz, die mit genügend Rechenressourcen ausgestattet war, um tiefgehende Experimente hinsichtlich der Hyperparameteroptimierung vornehmen zu können.

Innovation in Aktion

Die Studierenden entwickelten in Gruppenarbeit, meist Dreier-Teams, eigene Lösungsvorschläge in Form von Python-Notebooks in AWS SageMaker, evaluierten ihre Modelle mit Hilfe anerkannter Leistungsmetriken und experimentierten mit den Hyperparametern. Zudem erstellten sie ein vierseitiges Paper, in welchem sie Ihre Ergebnisse festhielten und evaluierten.

Nächste Schritte

Im nächsten Schritt könnten die Ergebnisse dieser Papiere und der dazugehörige Code verwendet werden, um ein möglichst leistungsfähiges und dennoch echtzeitfähiges Erkennungsmodell für Bienen für das EnBeeMo zu entwickeln. Des Weiteren könnten die Erkenntnisse der Hyperparameteroptimierung und der damit verbundenen Sensitivitätsanalyse - also der quantitativen Messung der Einflussstärke der Hyperparameter auf die Modellleistung - verwendet werden, um den Optimierungsprozess an sich zu verbessern.