Adaptive Audio

This dissertation adds to the research in post-production practices by using generative audio to digitally re-construct Foley stages. The rationale for combining generative audio with Foley processes is to analyse the possible implementation of new technology that could benefit from Foley practices in low-budget films. This research project also intersects sound synthesis, signal analysis and user interaction, where a behavioural analysis based on ground reaction forces was prototyped.

https://pdpseven.wixsite.com/sound-color

CHROMOSCALE presents a novel framework that integrates numerical systems with color representation through a unique chromatic approach based on cyclic orders. The concept revolves around the relationship between different numerical bases and their visual representations, specifically focusing on Base 7. The paper explores the mathematical properties of cyclic numbers, monotonic functions, and their implications for establishing a harmonic system that maps numbers to colors in a structured way, thereby creating a cohesive language for sounds, colors, and numbers.

https://pdpseven.wixsite.com/sound-color

The Harmonic Math, Chromatic numbers and sounds" presents a novel framework that integrates numerical systems with color representation through a unique chromatic approach based on cyclic orders. The concept revolves around the relationship between different numerical bases and their visual representations, specifically focusing on Base 7. The paper explores the mathematical properties of cyclic numbers, monotonic functions, and their implications for establishing a harmonic system that maps numbers to colors in a structured way, thereby creating a cohesive language for sounds, colors, and numbers.

RESUME : Il s'agira dans cet article d'éclairer un champ créatif émergeant : les « audio--games » ou « vidéo--ludiques sonores », se situant au carrefour du jeu vidéo et de l'informatique musicale. Aujourd'hui, une multitude de petites applications, qui proposent des expériences audio--visuelles ludiques où la dimension sonore est prépondérante, sont disponibles sur des consoles de jeux, des ordinateurs, des téléphones portables. Ces expériences représentent un nouvel espace où la notion de « jouabilité » venue du jeu vidéo et appliquée à la création musicale favorise de nouveaux ponts entre les deux disciplines. Ce champ créatif, en proposant la manipulation de représentations que nous appelons « a--musicologiques » 1 (c'est--à--dire utilisant des symboles ne faisant pas référence à la musicologie classique pour manipuler et produire du sonore) interrogent de manière nouvelle la représentation du sonore

The article outlines a psychoacoustically founded method to describe the acoustic performance of earphones in two dimensions, Spectral Shape and Stereo Image Coherence. In a test set of 14 typical earphones, these dimensions explained 66.2% of total variability in 11 acoustic features based on Bark band energy distribution. We designed an interactive Earphone Simulator software that allows smooth interpolation between measured earphones, and employed it in a controlled experiment (N=30). Results showed that the preferred ‘virtual earphone’ sound was different between two test conditions, silence and commuter noise, both in terms of gain level and spectral shape. We discuss possible development of the simulator design for use in perceptual research as well as in commercial applications.

Abstract Musical computer games and their reward structures are transforming solitary and participative music making. Visuals in musical games tend to assume the role of music in video games as they become incidental to the gameplay or provide graphical aid for musical decision making. Constrained manifestations of musical skill in game software simulations point towards the development of real world musical skills. Yet, arguably, no video game so far developed requires the kind of sophisticated expression that a musician hones by ...

The article outlines a psychoacoustically founded method to describe the acoustic performance of earphones in two dimensions, Spectral Shape and Stereo Image Coherence. In a test set of 14 typical earphones, these dimensions explained 66.2% of total variability in 11 acoustic features based on Bark band energy distribution. We designed an interactive Earphone Simulator software that allows smooth interpolation between measured earphones, and employed it in a controlled experiment (N=30). Results showed that the preferred 'virtual earphone' sound was different between two test conditions, silence and commuter noise, both in terms of gain level and spectral shape. We discuss possible development of the simulator design for use in perceptual research as well as in commercial applications. 1.

Du fait de l’aspect relativement nouveau de notre recherche dans le cadre universitaire français, nous nous proposons de commencer par un rapide survol des connaissances et problématiques inhérentes à l’étude de la musique de jeux vidéo (historique très bref, parallèles avec la musique de film, problématique des transitions entre les musiques et rôle de la musique dans les RPG), ce qui constituera la première partie de cet article.

Nous poursuivrons avec le sujet plus propre à ce travail, à savoir l’expérience sonore dans Final Fantasy VII (que nous appellerons désormais FFVII pour moins surcharger le texte). En restant tout à fait réaliste, il nous sera impossible de considérer tous les aspects sonores et musicaux du jeu. Nous nous attarderons donc sur six questions principales, plus ou moins spécifiques à ce jeu particulier et tournant à chaque fois autour de la problématique du rapport de la création sonore pour jeu vidéo à l’évolution technologique. Nous commencerons par la question du son géré par MIDI, des raisons qui ont pu pousser les concepteurs et le compositeur à le choisir plutôt que d’inclure le redbook audio (format CD) et des implications sur le jeu. Nous nous poserons ensuite la question de l’interactivité dans la programmation de la musique de FFVII. Nous continuerons avec son rôle dans la construction du monde narratif (en nous appuyant sur deux caractéristiques liées : l’absence quasi-totale de bruitages et la construction sémiotique de l’ambiance).

Enfin, notre troisième partie se consacrera aux implications de l’évolution technologique sur, d’une part, l’accessibilité et la présentation de FFVII aujourd’hui ; d’autre part, l’évolution de la série Final Fantasy en général, par rapport à FFVII. Nous terminerons avec des considérations spécifiques à la présentation du dialogue, qui est passé d’un dialogue présenté dans des bulles dans les Final Fantasy pour Playstation à un dialogue écrit et enregistré sur les consoles suivantes.

Tout le long de l’article, nous poursuivrons l’étude des rapports qu’entretiennent musique de jeux vidéo, technologie, interactivité et narrativité, afin de montrer qu’il existe un lien très fort entre tous ces éléments et que la technologie, bien qu’ayant permis d’un côté des évolutions importantes au niveau de l’interactivité, du « réalisme » et de l’immersion, a pu engendrer pour la même raison la déconsidération de formes de narrativité et de musicalité qui étaient propres au design sonore des jeux vidéo. Rappelons avant de commencer que malgré la place que nous accordons au rôle de la technologie, notre travail ne s’attardera pas sur la description de la technologie elle-même, mais sur les possibilités qu’elle offre.

http://vimeo.com/fluxations/mc1 
An improvised audio-visual (interactive dance) performance by Joshua B. Mailman, employing the Fluxations interactive system developed by him and Sofia Paraskeva.  Body movement controls the music and the visuals. Movement around the stage (left vs. right and forward vs. backward) affects harmony and colors. Flex of the right wrist and body posture (upright vs. lowered) affect texture of the music and visuals. Flex of the left wrist affects rhythm of the music and visuals.  Recorded in Montreal in June 2012 at the "Skin-Surface-Circuit: Embodying the Improvisatory" conference of Improvisation Community and Social Practice (ICASP), hosted by McGill University.  Live algorithmic music and graphics designed and programmed by Joshua B. Mailman  Sensor gloves designed, built, and programmed by Sofia Paraskeva  Motion-capture interactive system developed by Joshua B. Mailman and Sofia Paraskeva  Video footage recorded by Stephanie Khoury  Other videos:  http://soundsrite.uws.edu.au/soundsRiteContent/volume5/MailmanInfo.html  http://youtu.be/8eBra9gd5QQ