CVRF: InstruData

Team

PI: Prof. Dr. Michael Sedlmair
Mitarbeiter: Frank Heyen, MSc.

Start

04/2021

Projektdauer

3 Jahre

Keywords

Visual Analytics, Augmented Reality, Human-centered AI, Music education, MIDI data

Ein Musikinstrument spielen zu lernen ist mühsam und langwierig. Nicht jeder kann sich professionelle Lehrer leisten und selbst mit deren Unterstützung sind Rückmeldungen nicht immer sofort verfügbar und einfach zu verstehen. Um diese Einschränkungen zu vermeiden, werden wir verschiedene datengetriebene Techniken und Werkzeuge entwickeln. Dabei ist die Kernidee, beim Üben mit dem Instrument systematisch Daten zu sammeln und diese dann durch smarte visuelle Schnittstellen zu vermitteln. Eine Webanwendung wird es Musikschüler*innen und  Lehrer*innen sowie professionellen Musiker*innen erlauben, eventuelle Fehler visuell zu analysieren und den eigenen Stil in einer vollständig neuen Weise zu verbessern. Durch eine zusätzliche Aufnahme von Bewegungsdaten (Motion Capturing) können wir weiterhin Hinweise zum Fingersatz oder der Körperhaltung geben, die beispielsweise durch Erweiterte Realität (Augmented Reality) in direkter Verknüpfung mit dem physischen Musikinstrument vermittelt werden.

Da musikalische Daten sehr komplex sein können und die von einem Instrument aufgenommenen Noten und Audiosignale oft verrauscht sind, stellt Künstliche Intelligenz eine nützliche, wenn nicht gar notwendige Hilfe bei der Datenverarbeitung und  -Analyse dar. Wir werden einem benutzerorientierten Designprozess folgen, der Musiker*innen und Musikpädagog*innen mit verschiedenen Hintergründen und Fachkenntnissen in die Datensammlung, Entwicklung und Evaluierung unserer Techniken und Implementierungen miteinbezieht. Unser Ziel ist, verwendungsbereite Werkzeuge für den Musikunterricht sowie auch in anderen Bereichen verwendbare Datenverarbeitungstechniken bereitzustellen. Darüber hinaus wollen wir eine Datensammlung veröffentlichen, die Noten, Audio, Bewegungsdaten und weitere Charakteristiken enthält, die wir von Instrumenten und Musiker*innen aufnehmen.