“Smounds”, ein Begriff, der beschreibt, wie sich die gleichzeitige Wahrnehmung von Schall und Gerüchen im Hirn niederschlägt, wurde in meinem vorigen Blogeintrag behandelt.
Der Künstler Simon Knight greift diese wissenschaftliche Erkenntnis in seiner Arbeit auf. “Smell Sound Rave” – so nennt er ein von ihm entworfenes Soundsystem, das je nach gewünschter Stimmung spezielle Duftstoffe in den Raum sprühen kann – auch Duftmischungen sind möglich. Eine Luftfilteranlage sorgt dafür, dass sich die hintereinander “abgespielten” Düfte nicht überlagern.
In einem Experiment namens “Smound Research Lab” untersuchte er, wie Emotionen durch die Wechselwirkung von Schall und Gerüchen erzeugt werden. Hierfür wurden acht Musikstücke produziert, mit acht Gerüchen gepaart und schließlich acht Emotionen zugeordnet: Unpleasant, Pleasant, Happy, Sad, Calming, Uplifting, Angry, Romantic . 50 Proband:innen wurden die Gerüche und Musikstücke jeweils getrennt zum Riechen gegeben bzw. vorgespielt und gebeten, die Intensität der empfundenen Emotionen zu bewerten. Anschließend wurden den Versuchspersonen die Gerüche und Musikstücke gleichzeitig als Smounds vorgesetzt/vorgespielt – auch diesmal wurde von ihnen bewertet. Das Ergebnis zeigte, dass die Smounds die Emotionen der Proband:innen stärker beeinflussten als die Gerüche und Sounds getrennt. 50 weitere Versuchspersonen sollten die Gerüche und Musikstücke passend kombinieren und nach dem gleichzeitigen Riechen und Hören ihre Emotionen beschreiben. Tatsächlich stimmten die meisten Paarungen und empfundenen Emotionen mit den von der Versuchsleitung festgesetzten Kombinationen überein. Simon Knight führt aus:“The emotional ratings given by participants to their matches suggests that they made the matches through subconscious cross-modal correspondences mediated by the intended emotion of the compositions.”. Das Experiment hat wohl nur pseudowissenschaftlichen Charakter, zumal auch auf der zugehörigen Websites keine näheren Informationen zur Konzeption der Untersuchung zu finden sind. Es stellt aber ein schönes Beispiel dar, wie unserer Emotionen von Gerüchen und Geräuschen beeinflusst werden.
Inwiefern Smells and Sounds neuerdings innerhalb des Sensory Urbanism in das Urban Design einbezogen werden, ist nächste Woche hier zu lesen.
In der vergangenen Woche habe ich mich mit den beiden Themen weiter beschäftigt und versucht die möglichen Umsetzungen genauer einzugrenzen. Durch meinen Betreuer wurde ich auf „Rotting Sounds“ aufmerksam gemacht, ein Projekt an der Universität für Musik und darstellende Kunst Wien, welches im Zeitraum von 2018 bis 2021 realisiert wurde. Es beschäftigt sich mit dem Verfall digitaler Audio-Daten, Verlusten bei Übertragungen etc. und der Frage, wie dies künstlerisch umgesetzt werden kann. Die einzelnen Projekte sind hier genauer einzusehen: https://rottingsounds.org/
Schwierigkeiten bei der geplanten Umsetzung mit der Zerstörung durch Radioaktivität stellt offensichtlich das damit einhergehende Gesundheitsrisiko dar. Auch die digitale Kopierbarkeit könnte ein Hindernis werden, man müsste in gewisser Weise die Einzigartigkeit der Aufnahme garantieren.
Des weiteren habe ich nach Musikstücken gesucht, bei welcher der Prozess des Verfalls thematisiert wird: In „Disintegration Loops“ lässt Wiliam Basinski (2002) einen Tapeloop immer wieder abspielen, bis dieser fast komplett unkenntlich geworden ist.
Hören kann man das Stück hier:
Im Stück „Everywhere at the End of Time“ (2016-2019) beschäftigt sich Leyland Kirby unter seinem Alias „The Caretaker“ mit den Verschiedenen Stadien von Alzheimer. Es besteht u. a. aus Loops von gesampleter Ballmusik. Die verzerrte Musik soll die fortschreitende Verzerrung von Wahrnehmung und Erinnerungen darstellen.
Die Vorstellungen für das Projekt „Play the City“ wurde dahingehend weiterentwickelt, dass man eine App programmieren könnte über welche man den Soundtrack der Stadt anhören kann. Entsprechende daten wie Standort, Wetter etc würden über einen Puredata Patch den Sound mitgenerieren und einzigartig machen. Ein daraus resultierendes mögliches Problem ist, dass der verfügbare Raum in der Stadt sehr groß ist und mit verschiedenen Sounds gefüttert werden will.
Das Projekt beinhaltet eventuelle Erweiterungen wie ein Touch-Pad und einen Ultraschallsensor zur Veränderung des Sounds. In der vergangenen Woche wurden diese Möglichkeiten getestet. Zusammen mit Pure Data und einem Bela-Mini wurden den Tests getätigt.
Als Ultraschallsensor wurde das Messmodul HC-SR04 verwendet. Es wurde dieser Sensor verwendet da kein Anderer zur Verfügung stand.
Das Ultraschall Modul HC-SR04 eignet sich zur Entfernungsmessung im Bereich zwischen 2cm und ca. 3m mit einer Auflösung von 3mm. Es benötigt nur eine einfache Versorgungsspannung von 5V bei einer Stromaufnahme von <2mA. Nach Triggerung mit einer fallenden Flanke (TTL – Pegel) misst das Modul selbstständig die Entfernung und wandelt diese in ein PWM Signal welches am Ausgang zur Verfügung steht. Ein Messintervall hat eine Dauer von 20ms. Es können also 50 Messungen pro Sekunde durchgeführt werden (Quelle -> KT-electronic).
Der Bela-Mini wurde von der FH-JOANNEUM zu Verfügung gestellt. Die Hardware-Eigenschaften des Bela Mini sind ideal für den Anschluss an Sensoren und Geräte sowie für den Anschluss an Audioquellen und Audioausgängen. Der Bela Mini kann verwendet werden mit C++, Pure Data, Supercollider, Csound und vielen mehr. Es steht auch ein Browser-Oszilloskop zur Visualisierung und eine GUI Funktionalität zur Verfügung.
Das Trill Square ist ein zweidimensionaler x/y-Sensor, der sich für die Steuerung von zwei Parametern mit einer einzigen Berührung eignet. Dieser kann auch die Berührungsgröße erkennen.
Zur Planung und Auslegung wird ein Trill Square verwendet. Für den Prototypen, sollte die Idee des Touch-Pads bestehen bleiben, wird jedoch ein selbstgebauter verwendet werden.
As the working title suggests my goal is to enhance live performances of musicians and bands through connecting sound, light and other visuals like animation or maybe even generative processes. This could also be described as audio reactive visuals.
Possibilities:
Through integrating different software and hardware into a live performance, there’s the possibility to create a more immersive experience for the audience, as well as the musician(s) themselves. Best case scenario, visuals that react directly to instruments and voices (audio reactive visuals) give a unique character to the performed music and sound that not even a pre-programmed live set or an experienced light tech can provide. Also it can be used in a wide variety of genres. Styles that have a very expressive character and lots of dynamic range can benefit from it, but I can also imagine singer/songwriters using it. Sitting there alone on stage, with their guitar and microphone and just one moody little light reacting to the words they sing for instance.
Difficulties:
Currently there are a lot of plans and ideas but just as much work ahead. I have barely any practical experience with the technical aspects necessary to realize a project like this. My first steps are to get familiar with programming languages like Pure Data and Max/MSP. Then I need to find a way to make an analogue input interact with these softwares and also routing an output signal to an interactive light for instance. This all has to happen in real-time with the biggest difficulty being the synchronization of light and sound. Latency might be a problem.
Research question: Is it possible to measure underwater sound by using spacious audio microphone techniques? Is it possible to reproduce an underwater spacial audio?
Introduction
Definitions
Acoustics and psychoacoustics of spatial audio – How human ear localise a spatial sound? –
Acoustics and psychoacoustics of underwater sound -Propagation of signal –
A phantom “image” in stereo Human ear perceives the sound coming from the front while sending the same signal to both speakers. Changing a gain between the two speakers gives an impression on movement of sound. The phantomchanges a position in between two speakers. To not break a central phantom image speakers are usually placed with an angle of 60-degrees. Increasing the angle beyond 60 – degrees might cause a hole in between the speakers, so we lose the perception of central sound and start perceiving sound from independent sources (left and right speaker).
Center speaker The movie industry decided to add a central speaker in order to compensate the perception of the frontal sound image for the listeners that are not seated at the sweet spot. For those a central speaker works as an anchor and helps to have a more defined and stable sound image.
Surround speakers In order to improve the movie experiences (by having more realistic set up for a listener), the additional speakers on the sides were introduced. One of the first formats was the LCRS (left, center, right, surround): 5 speakers, 4 channels (the two of rear speakers combined in a single audio channel).In movie theatres surround audio channels are reproduced by an array of speakers. All speakers on a left wall and a right wall reproduce either left or right surround channel. It’s made that way to prevent a phantom hole (the point when you don’t hear any sound coming out) as well as to give to every listener nearly this same surround experience. There is a loose of resolution, the surround sound will become more diffused. In order to reproduce low frequencies the additional speaker was added with its own audio signal. The reason for a separate channel is that humans are not able to localise the direction of low frequencies, so that means that single speaker would not affect a space of the sound image and additionally (since we deal with low frequencies) this channel should be reproduced on higher SPL level than the other channels. Also from practical point of view all movie theatres would have to buy just one speaker instead of replacing the entire sound system with larger speakers. That’s how 5.1 was born: 5 main channels + 1 for low frequencies.
Other Horizontal Layouts (6.1/7.1) There were other layouts creates, by adding additional channels. Sony SDDS used 7.1 setup in 90’s(with 5 front speakers and 2 surround channels). Dolby created a Dolby Digital EX – a 6.1 format with a rear surround speakers. The traditional 7.1 was created with 3 frontal channels and 4 surround channels, increasing the space resolution on the sides/rear.
7.1 setup (front, centre, rear, SLa, SRa, SLb, SRb)
Immersive Audio In order to experience not only the horizontal plane (front, sides, rear), immersive systems were developed. That allows listeners to perceive the sound from all directions, by adding the height component (by adding speakers on the ceiling or on the floor).
Auro 11.1/ Auro 13.1a format that includes horizontal plane with 5.1 or 7.1 plus a height layer with a 5.0 setup plus a speaker above the listener.
13.1 setup (7.1 horizontal plane, 5 height channels and 1 top speaker “voice of god”)
IMAX 12.0 a format that considers 7 channels at the horizontal plane and 5 height channels, no LFE channel.
NHK 22.2: consists of 2 LFE channels, a lower layer with 3 speakers (below horizontal plane, with sound coming from the ground), a horizontal layer with 10 channels (5 frontal, 5 surrounds), a height layer with 8 channels and 1 “voice of god”.
NHK 22.2 setup
2. Definitions
Binaural cues = the most prominent auditory cues, that are used for determining the direction of a sound source.
Channel-based audio = audio formats with a predefined number of channels and predefined speaker positions.
ITD (interaural time difference) = measure the time difference of a sound arriving in the two ears
IID/ILD (interaural intensity difference) = tracks the level difference between the two ears
Phantom image =
Shadowing effect
Vector Base Amplitude Panning (VBAP) = recreation of perception of sound coming from anywhere within triangle of speakers
4. Acoustics and psychoacoustics of underwater sound
Localization underwater – what makes it so difficult?
From ITD cue perspective: the speed of sound: in air = 343 m/s, underwater = 1480 m/s (depends mainly on temperature, salinity)
“A speed of sound that is more than 4x higher than the speed of sound in air will result in sound arriving in our ear with much smaller time differences, which could possibly diminish or even eliminate completely our spatial hearing abilities. “
From IID perspective: there is a very little mechanical impedance mismatch between water and out head
“Underwater sound most likely travels directly through our head since the impedances of water and our head are very similar. and the head is acoustically transparent. “
“In air, our head acts as an acoustic barrier that attenuates high frequencies due to shadowing effect.”
“It is not entirely clear whether the underwater localization ability is something that humans can learn and adapt or if it’s a limitation of the human auditory system itself.”
Sehen, Hören, Riechen, Schmecken, Tasten: die fünf Sinne des Menschen sind allseits bekannt. Doch unsere Wahrnehmung funktioniert nicht immer so geordnet und klar trennbar, wie diese Einteilung vermuten ließe.
Bereits 2004 erschien The Handbook of Mulitsensory Processes (Gemma A. Calvert, Charles Spence, Barry E. Stein). Die Publikation beschreibt Wahrnehmung als multisensory experience und bricht mit dem traditioniellen sense-by-sense-approach.
Zu Beginn der 2010er-Jahre machte der Neurowissenschaftler Daniel W. Wesson durch Zufall eine spannende Entdeckung. Eigentlich untersuchte er bloß die Geruchswahrnehmung von Mäusen, doch als er eines Nachmittags seine Kaffeetassse auf den Labortisch stellte, bemerkte er einen punktuellen Anstieg der Aktivität im Tuberculum olfactorium der Mäuse – das ist der Bereich des Gehirns, in dem u. a. Gerüche verarbeitet werden.
Gemeinsam mit seinem Kollegen Donald A. Wilson ging er nun der These nach, dass es “Smounds” gebe – eine Sinneswahrnehmung, die sich aus Smells und Sounds zusammensetze. Tatsächlich konnten die Forscher anhand einer Studie an Mäusen nachweisen, dass im Tuberculum olfactorium Smells and Sounds überschneidend verarbeitet werden, ganz im Sinne der multisensory experience.
Doch die Beschäftigung mit dem Zusammenspiel mehrerer Sinneseindrücke hat eine lange Geschichte. So entwickelte schon der russische Komponist Alexander Skrjabin (1872-1915) die Idee für ein Gesamtkunstwerk, das “Mysterium”, das, einmalig und mehrtägig in einem eigens dafür errichteten Tempel aufgeführt, eine allumfassende Sinneswahrnehmung ermöglichen sollte. Ein Ritual mit esoterischen Einflüssen, dessen Umsetzung nicht nur an Skrjabins Tod scheiterte. Skrjabin galt als Synästhetiker, er konnte laut eigener Aussage Klänge als Farben sehen. Sein Gesamtwerk sollte jedoch nicht auf das “Mysterium reduziert werden.
“Smounds” sind auch heute noch Gegenstand künstlerischen Schaffens, rücken aber aktuell auch in der Stadtplanung in den Fokus. Doch dazu in den nächsten Wochen mehr.
Quellen/Links:
Calvert, Spence, Stein(2004): The Handbook of Mulitsensory Processes
“ You can’t totally control noinput music because it’s all about feedback. Things like turning the tuning knob, even by one millimeter, make a big difference to the sound. …It’s very hard to control it. The slightest thing can change the sound. It’s unpredictable and uncontrollable. Which makes it challenging. But, in a sense, it’s because of the challenges that I play it. I’m not interested in playing music that has no risk. “ (Toshimaru Nakamura)
Reading a paper on feedback systems, from Dario Sanfilippo and Andrea Valle: “FeedbackSystems: An Analytical Framework”, I found interesting a given key to understanding feedback itself and the relation between the different parameters. Specifically I focused on a paragraph that emphasizes the non-linearity of a feedback system and how different sonic parameters, normally unrelated in an audio system, are actually related to each other.
As they mention in the paper, parameters like amplitude and pitch, are coupled in a condition where they mutually affect each other in an interaction system. Their combination is leading to new entities that are not the summation of their parts, instead a new element that coexist only because of their synergy. Each element has its own identity, no one has the role of coordinator, but all play as equals to achieve a goal that takes shape only through their essential cooperation. This is also resembled in the loose relations of non- or flat hierarchical organisations, where each participant´s ideas are equal to and influence each other. The emerging results are unpredictable to a certain degree.
Inside this process, the smallest changes of one parameter or in the setup influences the overall result unproportionally. Therefore it´s difficult to reproduce the results although it´s possible to train playing it as an instrument, to attain a certain amount of control. By testing the influence of different parameters, you can understand roughly what a single parameter/event changes in the whole system.
It is important to underline that every performance is unique and you can´t know before if it´s going to be a success or a failure. Each setup is unique in its possibilities, even using the same gear never sounds identical. Still a sort of connection between the sonic phenomena and the interaction with the performer within the system is achieved, which´s framework is outlined by the composer.
In contrast to playing a conventional instrument, the performer and system meet equally as agents. The performer interacts within a complex net, changing the dramaturgy of the sound itself. Sound and form are not to be differentiated, the concept of coherence depends on the level of understanding the immanent evolution of events and their relation to each other.
Feedback offers great variety of different possible results from seemingly chaotic to minimalistic. Thanks to its flexibility, it is usable to explore these extremes in a continuum. The risk of loosing control becomes part itself of the compositional process, if on one side the indeterministic behaviour puts you on a subordinary position, on the other side feedback systems tend to stabilize themselves giving you the possibility to explore the potential of this unstable “holy” dimensions.
Im Folgenden möchte ich auf meinen Prozess der Ideenfindung eingehen und im Anschluss den aktuellen Stand des Projektes erläutern. Aktuell befasse ich mich mit zwei Ideen: Zum einen das Projekt „Play the City – Die Stadt spielen“ zum anderen „Kultureller Verfall in Zeiten des Krieges“.
Gedanklicher Ausgangspunkt für Ersteres war das Klangkunst Stück „I Am Sitting in a Room“ des amerikanischen Komponisten und Experimentalmusikers Alvin Lucier.
In diesem wird ein von Lucier vorgelesener Text auf Band aufgenommen, durch einen Lautsprecher abgespielt und wieder aufgenommen. Dieser Vorgang wird (im selben Raum) immer wieder wiederholt. Durch die im Raum existierenden Resonanzen werden manche Frequenzen immer weiter ausgelöscht, während andere immer weiter verstärkt werden. Das Signal nach über 40 Minuten ist ein stark gefiltertes, bei dem der ursprüngliche Text und die Stimme kaum mehr erkennbar sind.
Bei „Play the City“ sollen die Räume und ihre jeweils eigenen Resonanzen als Filter in der Klangkette zum Erstellen von Soundscapes verwendet werden. Diese soll es an mehreren Orten in der Stadt Graz geben, welche beim Bewegen durch die Stadt gehört werden können. Die Musik soll dabei auch von Tages-/Jahreszeiten, dem Wetter und ähnlichem abhängig gemacht werden.
Die zweite Idee „Kultureller Verfall in Zeiten des Krieges“ soll in Kooperation mit ukrainischen Musiker*innen umgesetzt werden. Ein einzigartiges, komponiertes und aufgenommenes Musikstück auf einer Festplatte soll mit Hilfe von Radioaktivität zerstört werden.
Der momentane Projektumfang umfasst mehrere Eingriffe. Die Gitarre wird mit einem Sustain Pickup ausgestattet, welcher aus einem gebrauchten Pickup hergestellt wird. Des Weiteren wird die Gitarre, eventuell, mit einem XY-Pad ausgestattet. Zusätzlich können die Gitarrensaiten ohne direktes einwirken der Gitarristin oder des Gitarristen angespielt werden. Hierfür werden Hubmagneten verwendet. Es kann aus dem momentanen Recherchestatus noch nicht abgeschätzt werden wie viele der Saiten mit einem Hubmagneten ausgestattet werden können. Basierend auf der Baugröße der Hubmagneten und der Position, welcher diese auf der Gitarre Platz finden werden, wird die Anzahl der möglichen Saiten bestimmt. Ein zusätzliches Poti wird installiert, um die Geschwindigkeit der Hubmagneten steuern zu können.
Es gibt bereits solche Pickup zu kaufen, wie die beiden folgenden Bilder veranschaulichen. Die Preise für Sets dieser Art belaufen sich auf ca. 350€ pro Set.
Bei meinem Projekt wird der Effekt nicht mithilfe eines bereits fertigen Pickups-Sets erzeugt. Der Sustain-Effekt wird mithilfe eines Pickups, welchen ich aus einer meiner Gitarren bereits ausgebaut habe erzeugt. Es handelt sich hierbei um einen handelsüblichen Pickup (Doublecoil), welcher nicht für den Einsatz eines Sustain-Effektes vorgesehen ist. Dieser wird präpariert und kann danach als solcher verwendet werden.
