Während Sänger Roger Waters gerade zum Hook von «Another Brick in the Wall, Part 1» ansetzt, zeichnen 2668 Elektroden, direkt auf der Oberfläche des Gehirns, die Reaktion von 29 Epilepsiepatienten auf.
Diese ungewöhnliche Szene spielte sich 2009 im Albany Medical Center in den USA ab. Die Forscherinnen und Forscher wollte schauen, ob mit den Hirnwellen der Song von Pink Floyd rekonstruiert werden kann. Nach jahrelanger Auswertung der Daten ist klar: Ja, das geht.
Hirnwellen übersetzt
Im Fachmagazin «PLOS Biology» berichten die Forscherinnen und Forscher rund um Robert Knight von der UC Berkeley, von ihrer Arbeit. Es ist das erste Mal, dass es ihnen gelang, Hirnwellen zurück in Musik zu übersetzen. Möglich war dies mithilfe von künstlicher Intelligenz (KI).
Den Pink-Floyd-Song wählten die Forscher, da das Lied «vielschichtig ist, komplexe Akkorde, mehrere Instrumente und unterschiedliche Rhythmen enthält und so für die Analyse spannend ist», sagt Ludovic Bellier, Mitautor der Studie zu «Scientific America».
Rhythmus im Hirn
Zwar tönt das Ergebnis ein wenig so, als ob der Song unter Wasser aufgenommen wurde. Rhythmus, Melodie und die Zeile «Another Brick in the Wall» sind jedoch deutlich erkennbar.
Die Forscher fanden während der Studie auch einen Bereich im Schläfenlappen des Gehirns, der auf das Lied besonders reagierte. Sie vermuten, dass dieser Bereich an unserer Rhythmuswahrnehmung beteiligt sein könnte.
Bye-bye Robo-Stimme
Zwar gab es über die letzten Jahre immer wieder Fortschritte bei der Umwandlung von elektrischen Signalen in Wörter, nicht aber bei der Lebhaftigkeit der Stimme. Linguisten nennen dies Prosodie. «Der Begriff umfasst all die Dinge, die uns zu lebhaften Rednern machen», erklärt Gerwin Schalk, der an der Studie beteiligt war, in der «New York Times».
Die Forscher hoffen, dass sie in Zukunft Menschen, die nicht sprechen können, spezielle Geräte zur Verfügung stellen können. Diese sollen nicht nur wiedergeben können, was jemand sagen will, sondern auch Tonalität, Rhythmus und Emotionen in der Stimme erhalten.
Kann man so Gedanken lesen?
Da die Methode nur mit Gehirnimplantaten funktioniert, sei es unwahrscheinlich, dass dieses Verfahren auch für nicht klinische Zwecke eingesetzt werde, so die Forscher. Und auch die für die Studie entwickelte KI könne nur Signale in Töne übersetzen. «Sie ist lediglich eine Tastatur fürs Hirn», sagen sie.
Andere Forscher aus Japan tüfteln aber bereits an einer Methode, um mit KI Melodien aus Hirnsignalen zu generieren, die mit Magnetresonanztomografie aufgezeichnet wurden.