Sound and Sonification
Projekte aus Forschung und Lehre, Seminararbeiten, Abschlussarbeiten
Hochschule Bremen, UdK Berlin, Universität GH Essen, Fachhochschule Köln

Non-Speech Audio-Semiotics: A Review and Revision of Auditory Icon and Earcon Theory
presented at the 18th International Conference on Auditory Display.
Atlanta, USA, 2012

 
For more than two decades, the discourse on non-speech audio interfaces has been dominated by a dichotomy between auditory icons, which are based on everyday hearing, and earcons, which are based on musical hearing. The corresponding theory behind these concepts has to be revised for several reasons. First, the authors of these theories partly use semiotic concepts and terminology, but not always in a correct way. Second, the classification of auditory icons as "iconic", and earcons as "abstract" is too simple and based on the questionable premise that everyday sounds are per se iconic and musical motives are per se abstract and symbolic. Third, this widespread idea ignores the crucial role of the user in the process of perception.

Abstract, Download paper

Semiotik auditiver Interfaces –
Zur Geschichte von Gestaltung und Rezeption
auditiver Zeichen in Computer-Interfaces
Buchkapitel in: Das geschulte Ohr. Eine Kulturgeschichte der Sonifikation
Sound Studies Reihe der UdK Berlin, 2012 transcript Verlag

In den späten 1980er Jahren wurde Praxis und Theorie der sogenannten Auditory Icons und Earcons beschrieben. Dabei wurde teilweise — allerdings unsystematisch und teilweise fehlerhaft — auf Begriffe aus der Semiotik zurückgegriffen. Der Artikel untersucht die Wahrnehmung visueller und auditiver Interface-Metaphern, die sich im Laufe der vergangenen 20 Jahren stark verändert hat. Grundlage für die Analyse ist die Anwendung semiotischer Theorie auf auditive Zeichen. Es ist der erste Ansatz zur Schließung zweier Theorielücken: der fehlenden semiotischen Fundierung im Auditory Interface Diskurs und eine bisher nicht vorhandene Audio-Semiotik für nicht-sprachliche Kommunikation.

No.I.S.E. – Novel Interfaces for Sound Exploration:
SoundTorch
Master's Project 2008-09 with Prof. Dr. Jörn Loviscach

With SoundTorch sound designers and musicians can browse vast collections of audio files. Sound samples are automatically arranged on the screen by similarity. The user uses a virtual beam of light to illuminate and play back multiple selected sounds.

No.I.S.E. – Novel Interfaces for Sound Exploration:
SonoSketch
Master's Project 2008-09 with Prof. Dr. Jörn Loviscach

Sonosketch querys sound databases through painting. Similar to image retrieval systems that use drawing as an input for a similarity search, SonoSketch uses sketched sounds, which are composed of atomic sounds.

Multiplayer iPad Musikmaschinen
Seminar „Interface-Konzepte für Tablet, Slate und iPad”
Hochschule Bremen 2010

Bis zu vier Nutzer können mit diesen iPad-Apps gemeinsam musizieren. Jeder Nutzer bespielt ein Ecke, beziehungsweise Fläche, mit einem Instrument-Modul. Die virtuellen Instrumente werden teils durch einfaches Tippen, aber auch durch Wischbewegungen gesteuert. Zusätzlich gibt es Aufnahme- und Loop-Funktionen und eine gemeinsame Temposteuerung.

Emotional Music Player
Bachelor-Projekt, mit Prof. Dr. Jörn Loviscach
Sommersemester 2006

Musik ist wahrscheinlich das Medium mit dem es am besten gelingt, Emotionen und Stimmungen darzustellen oder hervorzurufen. In diesem Projekt wurde eine MP3-Player-Software entwickelt, die es möglich macht, Musikstücke mit Stimmungs-Tags zu beschreiben und unterschiedliche Methoden zur stimmungsbasierten Erzeugung von Playlists bietet.

Nach einer Recherche-, Diskussions- und Testphase wurde ein siebendimensionales Stimmungsmodell entwickelt. Im User-Interface werden diese durch sieben Schieberegler repräsentiert. Diese sieben Schieberegler werden benutzt um Musikstücke einer Sammlung manuell zu "taggen", das heißt mit Stimmungsparametern zu beschreiben.

Anschließend werden die restlichen Musikstücke einer Sammlung automatisch getaggt. Dies basiert auf einer inhaltlichen Analyse der Stücke durch die Software. Analysiert werden hauptsächlich Vergleichswerte zur Klangfarbe, aber auch rhythmische Komponenten wie BPM werden analysiert.

FlexiKnobs
Master Thesis in Digital Media "Rodent's Redux" 2010
Supervised by Jörn Loviscach and David Oswald
Studierende: Datenschutz

The hundreds of on-screen controls offered by typical sound or music editing software are hard to map to a fixed physical interface. To improve this, we built a set of wireless, mouse-like devices enhanced with rotary controllers, aiming at integrating the flexibility and transparency of mouse interaction with the benefits of physical controllers.

An Interactive Optimization Procedure
Not Only For Hearing Aids!
Master Thesis in Digital Media, 2010
Studierende: Datenschutz

In the last decade optimization strategies for hearing aids improved significantly. Genetic optimization algorithms and neural networks found their ways into existing products. Engineers became aware of the individualism of patients so hearing aids to satisfy their special needs have been designed and created. But people equipped with hearing aid technology are only the tip of the iceberg. It is assumable that many people are in a gray area between substantial hearing loss and wearing personalized hearing devices. Only little knowledge about the area of hearing research—which is somewhat separated—can be found in daily consumer electronic devices such as iPods, TVs or radios. In this work the author enrolled the discussion about optimization strategies once more and examined obvious problems targeting at making the experiences and the results available not only for hearing aids. He created a new approach merging the most promising techniques, conducted a user study for the interface and compared it to existing prescriptive methods.

Typographie-Musikclips
Übung im Seminar „Grundlagen Digitaler Medien”

Animation der Songtexte von selbst gewählten Musikstücken in Adobe Flash.

Animation ansehen auf quynhquach.com
– meine Empfehlung!

Die Jodelmaschine
Semesterarbeit Mediengestaltung III
Wintersemester 2003/04
Studierende: Datenschutz

Timeline-basierte Jodel-Lernsoftware und Werkzeug zur Jodel-Komposition. Natürlich nur für klassisches Alpenjodeln.

Rotundo Musikformat und -software
Semesterarbeit Mediengestaltung III
Sommersemester 2003
Studierende: Datenschutz

Interaktives Musikformat und Loop-basiertes Kompositionsinterface.

Studierende: Datenschutz: Vorlesemaschine, Mapping von Geräuschen auf Buchstaben

Experimentelles Mapping
Kurzzeitprojekt an der Fachhochschule Köln, 1998

Mapping kommt vom englischen „map” - Landkarte. Bei einer Landkarte wird zum Beispiel die Vegetation auf die Farbe gemappt. In interaktiven Medien kann man relativ leicht Parameter experimentell aneinander koppeln, die sonst in dieser Verbindung nicht vorkommmen.

Sound im Computer Interface
Diplomarbeit (meine!)
Betreuer: Prof. Gui Bonsiepe, Fachhochschule Köln, 1996

Multimediale und interaktive Arbeit über Sound als Informationsmedium im Interfacedesign. Anwendung von Semiotik auf auditive Zeichen.

   Lucky Strike Junior Designer Award 1996
   der Raymond Loewy Stiftung zur Förderung
   von zeitgemäßem Industriedesign