Pitch tracking op één toon is al moeilijk - een stemapparaatje heeft al snel problemen om 1 toon te duiden als er veel achtergrond geluid is - maar meerdere tonen in een opname te duiden en van elkaar te onderscheiden is echt erg lastig voor een computer. Als zoiets wilt programmeren, krijg je diepgaande bewondering voor het menselijk gehoor.

Muzikale noten bestaan uit deeltonen en die zijn zeer veranderlijk. Als je een gitaar aanslaat, klinken er zes sets van deeltonen door elkaar. Op een gewone spectrum analyse zie je bepaald geen net regenboogje staan, het is behoorlijk chaotisch. Ik heb wel eens geprobeerd om met een methode uit de statistiek (principale componenten analyse) pitch tracking te doen. Dat gaat, maar het is moeilijk en op een computer uit 1997 kostte uren rekenen per akkoord. (Voor de wiskundigen onder u: pitch tracking is nog iets anders dan een FFTje draaien, omdat je niet alleen moet analyseren, maar ook moet interpreteren wat er gebeurt.)

Het programma doet deze analyse wel goed, en snel, en stelt de gebruiker in staat om een enkele noot uit een akkoord op te pakken en op een andere toonhoogte af te spelen. Dus als je per ongeluk weer die mineur aanslaat, waar het een majeur had moeten zijn, dan kun je dat achteraf herstellen.

Waar ik pessimistisch over ben, is het verschuiven van deeltonen. De samenhang tussen tonen is niet zomaar een som der delen. Tonen beïnvloeden elkaar. Niet alleen de snaar trilt, de hele kast doet mee, de hals, de lucht zelfs, en daardoor moduleren snaren elkaar. Maar de software lijkt dat toch erg goed te doen.

Geluid bestaat niet alleen uit nette trillingen, ook voor een deel uit (semi)chaos. De noise van een nagel of een plectrum, het ratelen van een snaar op een fret, het bewegen van de vingers op de hals. Ook dat lijkt toch goed te gaan.

En dan nog is er een factor van betekenis: Als een muzikant een fout speelt, reageert deze twee tonen later door harder te gaan spelen. Andere muzikanten reageren daar weer op. Concentratie is niet zomaar te fixen, achteraf zeker niet.
Uiteindelijk ben ik primair geïnteresseerd in de intensie waarmee wordt gemusiceerd, niet in de noten, maar in wat er via de noten wordt overgebracht. Zie dat maar eens te herstellen.

Ik denk dat deze ontwikkelingen gezien kunnen worden in het licht van de ontwikkelingen in Japan. Vocaloid software, bestaande uit duizend sampletjes van zangers en zangeressen, wordt er gebruikt om zang te construeren. Je voert de tekst en de melodie in, en tekent curves voor de emoties: Voila! Muziek die met Vocaloid is gegenereerd scoort nummer 1 hits in Japan. Daar passen dit soort gitaar- en piano tools waarschijnlijk prima bij als begeleiding. Het is niet verrassend dat de makers voorstellen dat je je op cd gekochte library van gitaarsamples beter kunt benutten.

Waarschijnlijk heeft de software ook zijn beperkingen en muzikanten zouden geen muzikanten zijn, als ze beperkingen in klank niet juist zouden benutten. It's not a problem, it's a feature. Yes, I believe in life after love.