Über Standardmerkmale hinaus: SID-spezifisches Feature Engineering
Der Prozess des Feature Engineering und anschließend der Feature Extraktion folgt der Datenbeschaffung und -aufbereitung und stellt, wie im Kapitel zu den Grundlagen der Stilometrischen Analyse beschrieben, den ersten, zentralen Schritt der stilometrischen Analyse dar. In diesem Kontext werden die musikalischen Stilmerkmale, die den Charakter der C64-Musik prägen, definiert und als Features verfügbar gemacht.
Angesichts der technischen Eigenheiten des SID-Chips und der darauf basierenden Kompositionstechniken muss das Feature Engineering über Standardmerkmale hinausgehen und SID-spezifische Techniken berücksichtigen. Relevante Feature-Kategorien umfassen melodische, rhythmische, harmonische und timbrale bzw. texturale Merkmale.
Während Standardmerkmale wie Tonhöhenverteilung oder rhythmische Dichte weitgehend mithilfe der Standard-Bibliotheken wie music21, jSymbolic und musif aus den konvertierten MIDI-Daten extrahiert werden können, erfordert die Quantifizierung SID-spezifischer Merkmale ergänzend benutzerdefinierte Features. Hierfür erweist sich die Python Bibliothek musif als besonders hilfreich. Mehr dazu in 4 - Feature Extraktion als Prozess.
Definition SID-Spezifischer Features
Arpeggios, Rauschkanal und die Grenzen von MIDI
So erfordert die Analyse der für C64-Musik prägnanten Arpeggio-Nutzung, d.h. schnelle Notenfolgen auf einer Stimme zur Simulation von Akkorden, eine benutzerdefinierte Analyse der detaillierten MIDI-Spuren von desidulate, um Häufigkeit, Geschwindigkeit, Muster, Dauer und Größe von Arpeggio-Sequenzen zu quantifizieren. Auch die Analyse rhythmischer Muster im Rauschkanal, der oft für Perkussion genutzt wurde, erfolgt auf der separaten Rauschkanal-Spur der MIDI-Ausgabe von desidulate.
Für timbrale Merkmale wie Wellenform-, PWM- und Filternutzung, die in reinem MIDI kaum nicht abgebildet werden, wäre ergänzend der Zugriff auf die Registerdaten aus JSIDPlay2-Dumps oder SSFs von desidulate notwendig. Da dies über den Rahmen dieser Arbeit hinausgeht, sei dies an dieser Stelle lediglich erwähnt. Die Dateien werden jedoch im Rahmen des Konvertierungsprozesses bereits automatisch erstellt und stehen grundsätzlich zur Verfügung.
Im Folgenden werden die Möglichkeiten zur Quantifizierung einzelner musikalischer Merkmale der SID-Musik zunächst näher beschrieben, aber noch nicht implementiert. Die Auswahl der spezifischen Features orientiert sich am Fokus der Forschungsfragen und der Machbarkeit, wobei die musikwissenschaftliche Interpretierbarkeit stets mitbedacht wird.
Die extrahierten Features werden wie üblich in diesem Forschungsfeld in einer strukturierten Form, wie einem Pandas DataFrame, und CSV-Dateien gespeichert. Basierend auf den SID-Eigenschaften und allgemeinen Prinzipien der computergestützten Musikanalyse werden die relevanten Features in den folgenden Abschnitten nach Kategorien noch detaillierter definiert.
Melodische Features und die Kunst der Arpeggiation
Diese umfassen Standardmerkmale wie Tonhöhenverteilung (Pitch Class Histogram), den durchschnittlichen Tonhöhenumfang, Intervalle und melodische Konturen. Eine wichtige SID-spezifische Technik in dieser Kategorie ist die Arpeggiation.
Aufgrund der Begrenzung auf drei Stimmen wurde schnelles Arpeggieren auf einer Stimme zur Simulation von Akkorden oder komplexeren Melodielinien genutzt. Eine aussagekräftige Erfassung der Arpeggio-Nutzung erfordert eine benutzerdefinierte Analyse, die über die reine Notenerkennung in Standard-MIDI hinausgeht, da diese die Intention des Arpeggios – schnelle Notenfolgen als Einheit – oft nicht abbildet.
Wichtige Metriken hierbei sind die Häufigkeit der Arpeggios, ihre durchschnittliche Geschwindigkeit (Noten pro Sekunde innerhalb des Arpeggios), die Intervallmuster innerhalb der Arpeggios sowie ihre Größe und Gesamtdauer. Die Identifizierung und Quantifizierung dieser Merkmale erfolgt primär aus den separaten Stimmspuren der Desidulate-MIDI-Dateien und erfordert die Entwicklung spezifischen Python-Codes.
Rhythmische Features zwischen Standardmaß und Rauschkanal
Hierzu zählen Standardmerkmale wie die Verteilung der Notendauern, die rhythmische Dichte und Ansätze zur Quantifizierung von Synkopierung. Ein SID-spezifisches Merkmal ist die Nutzung des Rauschkanals für perkussive Elemente oder Effekte. Die Analyse dieser rhythmischen Muster erfolgt auf der separaten Rauschkanal-Spur der Desidulate-MIDI-Ausgabe oder über SSF-Daten.
Harmonische Features und die Drei-Stimmen-Grenze
Diese Kategorie ist für die typisch 3-stimmige SID-Musik nur eingeschränkt relevant. Harmonik wird oft implizit durch Arpeggios dargestellt. Dennoch können Merkmale wie die Tonart, der Modus und Maße für Konsonanz/Dissonanz basierend auf gleichzeitig klingenden Tönen oder den Intervallmustern in Arpeggios abgeleitet werden, z.B. mithilfe von music21. Der Polyphoniegrad ist ein weiteres einfaches Merkmal, der bei SID-Musik meist auf maximal drei Stimmen begrenzt ist.
Timbrale Features und der schwer fassbare SID-Charakter
Die Klangfarbe ist für den charakteristischen SID-Klang entscheidend, jedoch aus reinen MIDI-Daten kaum oder gar nicht zu extrahieren. Ihre Quantifizierung erfordert den Zugriff auf die Registerinformationen, wie sie anhand der JSIDPlay2 generierten Parquet Dateien oder mit den SSF-Daten von Desidulate im Korpus zwar vorliegen, aber über den Fokus dieser Arbeit hinausgehen. Der Vollständigkeit wegen lassen sich folgende SID-spezifische Merkmale in dieser Kategorie mit Gedanken zur Quantifizierung und Implementierung identifizieren:
| Feature | Ansätze zur Quantifizierung | Datenquelle(n) |
|---|---|---|
| Stimmbenutzung | Anzahl gleichzeitig aktiver Stimmen und ihrer Zuweisung zu musikalischen Rollen | Separate Stimmspuren der MIDI-Dateien, ggf. ergänzend Registerdaten |
| Wellenformbenutzung | Häufigkeit der Auswahl der Grundwellenformen (Dreieck, Sägezahn, Puls, Rauschen) pro Stimme | Registerdaten |
| Pulsbreitenmodulation (PWM) | Häufigkeit, Tiefe und Geschwindigkeit von PWM-Änderungen | Registerdaten |
| Filterbenutzung | Häufigkeit der Filteraktivierung, Nutzung von Filter-Sweeps (Änderungen der Cutoff-Frequenz) und Resonanz | Registerdaten |
| Nutzung von Ringmodulation und Oszillator-Synchroni- sation | Vorkommen dieser fortgeschrittenen Techniken | Registerdaten |
Angesichts des signifikanten Informationsverlusts bei timbralen Aspekten, der bei der Konvertierung von SID nach Standard-MIDI auftritt, sollte für fortführende Arbeiten ein hybrider Ansatz mit Berücksichtigung der dargestellten Features angestrebt werden, um eine umfassende Stil-Analyse zu ermöglichen.