Luc PERERA est membre de l’École nationale supérieur des Arts Décoratifs de Paris (EnsADLab PSL SACRe) et enseignant designer à l’Université de Cergy, département Humanité & Design. Il est spécialisé dans les domaines du son, des objets en lien avec la santé et le design social. Il s’interroge sur l’interculturalité des objets (IHM) transitionnels dans le monde actuel.

Résumé :

Cet article présente une méthodologie expérimentale combinant arts plastiques, design d’objet et design sonore, développée depuis 2016 pour concevoir un dispositif mécatronique nommé Tala Box. Ce dispositif diffuse des rythmes carnatiques, musique traditionnelle du sud de l’Inde, auprès de patients Alzheimer à l’hôpital Paul Brousse (Villejuif). Fondée sur des techniques comme l’origami, le kirigami et la robotique souple, cette approche explore la perception temporelle dans la création plastique, où le temps et le mouvement sont centraux. Synchronisant son et mécatronique via le codage Python, la Tala Box stimule les relations entre son, mouvement et perception visuelle, avec des normes d’asepsie adaptées au milieu médical.

Mots clés : Design sonore, mécatronique, empirique, Design médical.

Abstract :

This article presents an experimental methodology combining visual arts, object design, and sound design, developed since 2016 to create a mechatronic device called Tala Box. This device plays Carnatic rhythms, a traditional music of South India, for Alzheimer’s patients at Paul Brousse Hospital (Villejuif). Based on techniques such as origami, kirigami, and soft robotics, this approach explores temporal perception in plastic creation, where time and movement are central. Synchronizing sound and mechatronics through Python coding, the Tala Box enhances the relationships between sound, movement, and visual perception, with aseptic standards adapted to the medical environment.

Keywords : Sound design, mechatronics, empirical, medical design.

1. Introduction

L’expérimentation en arts plastiques peut être comparée à l’improvisation musicale. Par exemple, trois accords majeurs suffisent pour improviser une mélodie en tonalité majeure. De manière similaire, on peut jouer avec trois couleurs pour explorer différentes nuances. Ce principe s’applique également à la danse et au théâtre, où l’art d’improviser est une étape fondamentale de l’apprentissage. Conceptuellement, improviser signifie agir dans un processus sans objectif prédéfini, laissant place à diverses propositions au lieu de viser des résultats concrets¹. Émile-Auguste Chartier, dit Alain, souligne l’importance de l’artiste durant les phases d’improvisation, le comparant à un artisan². Louis-Ferdinand Céline, par exemple, travaillait ses romans comme un ouvrier sur son établi, se percevant lui-même comme un façonnier³.

Cette démarche trouve écho dans le design d’objet et les métiers d’art, où la manipulation de la matière joue un rôle clé, notamment dans les phases de post-production. Celles-ci incluent l’expérimentation de différents matériaux, à l’image d’un sculpteur travaillant le marbre ou d’un designer développant des prototypes complexes en carton. Ces créations doivent respecter des contraintes de temps et des cahiers des charges précis. Il est toutefois essentiel de ne pas confondre ces expérimentations matérielles avec des propositions immatérielles, car une dichotomie apparaît également dans les processus de création expérimentale entre le design issu des arts appliqués et les approches conceptuelles managériales comme le design management, le design systémique ou encore le Design Thinking⁴. Ces derniers relèvent davantage de méthodologies que d’expérimentations pratiques⁵.

Nietzsche affirme que les œuvres sont souvent appréciées pour le plaisir qu’elles procurent, sans que l’on comprenne toujours le processus créatif sous-jacent. Selon Alain, on invente en travaillant : l’idée émerge du processus même de création au fil du temps. Cette temporalité – ce « bloc de mouvement-durée » (la perception du temps qui s’écoule au moment de la création) – est une caractéristique fondamentale qui innerve le travail de l’artiste ou du designer. Ils sont parfois spectateurs de leur propre œuvre, s’étonnant de ce qu’ils ont créé. Cela illustre la distinction entre idée et exécution, mais aussi entre création artistique et démonstration scientifique.

Pour mieux saisir cette notion de perception temporelle dans les phases d’expérimentation, nous détaillerons d’abord notre méthodologie, intégrée dans diverses improvisations sonores et visuelles depuis 2016. Ces recherches sont inscrites dans le cadre de la fabrication d’un dispositif haptique, mécatronique⁶ et sonore, qui diffuse des rythmes carnatiques (musique du Sud de l’Inde) auprès des patients Alzheimer de l’AP-HP Paul Brousse de Villejuif en région parisienne. Nous démontrerons que la conscience aiguë du passage du temps est cruciale pour créer des traces musicales dans un continuum espace-temps. De même, dans le design d’objet et les arts plastiques, le temps d’expérimentation revêt une importance déterminante, se manifestant parfois à travers des mouvements liés aux matériaux.

Ensuite, nous expliquerons comment ces mouvements musicaux ont été traduits plastiquement. En explorant des concepts tels que l’élasticité que nous avons travaillée avec des matériaux simples et divers supports, obtenant des résultats variés qui ouvrent la voie à l’utilisation d’autres matériaux. Ces recherches ont également abordé le pliage pour interpréter le mouvement du son. Ces expérimentations ont conduit à des travaux en robotique souple, où différentes approches ont été développées pour traduire la musique en mouvement. Dans une troisième partie, nous mettrons en relation cette méthodologie plastique avec une approche anthropologique, sociétale et culturelle, en examinant notamment les formes en lien avec la culture indienne. Dans tout le processus nous essayerons de démontrer une technique d’exploration qui repose sur l’expérimentation qui vise à atteindre des lois par induction. « […] la méthode expérimentale est une technique d’exploration s’appuyant sur l’expérimentation et qui a pour objectif spécifique d’atteindre des lois par l’induction⁷. ». Ce processus, proche de la démarche scientifique en quatre étapes – observation d’un problème, formulation d’une hypothèse, test par expérimentation, et conclusion –, pourrait aboutir à des résultats tangibles, tels qu’un dispositif mécatronique à usage spécifique. Ce projet intègre des considérations sanitaires et ergonomiques, en particulier pour répondre aux besoins des personnes âgées.

2. Improvisation musicale et plastique

Pour l’élaboration de notre projet, nous avons expérimenté différents types d’improvisation. Avant d’expliquer notre processus, définissons d’abord l’improvisation : en latin, "improvisus" signifie imprévu, soit « composer sur le champ sans préparation⁸ ». Résumons maintenant la définition d’Étienne Souriau dans son livre Vocabulaire d’esthétique⁹, l’improvisation musicale est aussi ancienne que la musique elle-même. Elle peut être pratiquée individuellement ou collectivement, et sa structure musicale s’adapte à l’esthétique de chaque époque. Etienne Souriau affirme que, pour communiquer efficacement avec le public, l’improvisateur utilise un langage musical familier, comprenant des échelles sonores, des organisations harmoniques, des thèmes rythmiques ou mélodiques, et des schèmes structurels. Tout en conservant son originalité, il doit éviter de désorienter l’auditeur. Un instrumentiste improvisateur, enrichi par une connaissance de son instrument, peut se reposer sur des procédés mémorisés pour créer des pièces correctes mais parfois banales, compensant par des fioritures ou des prouesses techniques.

L’improvisation musicale peut varier de l’ajout d’ornements à une œuvre écrite jusqu’à la création immédiate d’une œuvre originale. Elle comprend également les variations sur un thème donné, les cadences dans les concertos, les vocalises improvisées dans les opéras du XVIII^e siècle, et l’écriture des métriques¹⁰. Selon Souriau, dans de nombreuses civilisations d’Afrique et d’Asie, l’improvisation reste la base de la musique. En Europe, elle était courante dans l’Antiquité et au début de l’ère chrétienne, avec le chant grégorien portant l’empreinte de vocalisations improvisées. La notation musicale, imprécise au départ, a évolué pour favoriser la musique composée et écrite, mais l’improvisation a persisté, surtout dans la musique populaire et chez les organistes. Au XVIII^e siècle, l’improvisation était très appréciée en concert, particulièrement pour les instruments à clavier. Les grands musiciens des époques classiques et romantiques (Bach, Mozart, Beethoven, Chopin, Liszt) étaient reconnus pour leurs improvisations impressionnantes. Au début du XX^e siècle, le jazz a revitalisé l’improvisation, créant un nouveau style de jeu pour des instruments comme la trompette, le saxophone et le piano. À partir des années cinquante, l’improvisation s’est intégrée dans la musique contemporaine sous des formes renouvelées. Des compositeurs comme John Cage ont introduit des procédés permettant aux exécutants une certaine liberté, et les musiques aléatoires offrent des possibilités quasi illimitées de combinaisons. Le rock, descendant du jazz, continue de valoriser l’improvisation, répondant ainsi aux besoins des musiciens et du public. Il n’y a pas d’objectif défini ou de règles strictement établies. Dans cette courte chronologie¹¹, on constate que, dans l’improvisation musicale, il est essentiel d’être conscient du temps qui passe et d’interagir directement ou indirectement afin de concevoir une structure musicale qui s’inscrive dans un continuum espace-temps. Ainsi on observe que le facteur temps joue un rôle primordial dans l’acte d’expérimentation. Le temps d'expérimentation, quant à lui, joue un rôle totalement différent dans la conception d’un dispositif en design d’objet par rapport au temps usuel sonore. Ce dernier sera également différent pour la représentation du temps en mouvement, lorsque l’on établit un lien plastique avec la matière, par exemple dans le cas de la manipulation de la matière où le temps influe sur des aspects tels que le temps de séchage, la mixture des matériaux, ou encore leur composition.

La notion de l’improvisation à partir du temps dans l’expérimentation plastique fut traitée sous différents médiums comme les "Data Paintings" d’On Kawara, qui peignait selon un rituel bien défini d’après Mérdieu de Florence : « Un carton d’emballage, de la taille de chaque tableau, est souvent fabriqué par l’artiste qui y range une coupure de presse ou bien la feuille d’un journal portant la date du jour¹². ». D’autres artistes plasticiens comme Marcel Duchamp, Fluxus et des performances artistiques (John Cage, Name June Païk, Yoko Yono etc.) qui jouent sur la notion du temps et de l’improvisation. Avec l’arrivée des installations vidéo et sonore dans les années 90, l’improvisation temporelle plastique a disparu : « Bien souvent, la finalité esthétique se confond avec les moyens techniques mis en jeu et l’intérêt de la démarche semble surtout provenir de leur importance et de leur nouveauté apparente¹³. ».

La notion de l’expérimentation a toujours été l’un de nos axes de recherche, nous l’avons expérimenté d’un point de vue sonore, picturale, matériologique et sous forme de dispositif car une recherche selon nous, restera toujours sous une forme expérimentale¹⁴. Sa définition tirée du Petit Robert 1 est « Emploi systématique de l’expérience scientifique¹⁵ » et son étymologie renvoie à d’autres définition comme la pratique, l’usage, l’enrichissement des connaissances. Et au niveau de son adjectif nous avons le mot expérimental, qui est fondé sur l’expérience scientifique, qui possède un caractère d’expérience : on devient un expert ou une experte lorsqu’on possède une pratique par l’expérience. Et selon Etienne Souriau au niveau de l’expérience en art, cette dernière définit d’abord l’expérience esthétique comme une phénoménologie, ce qui est esthétisable selon la perception du spectateur et de l’artiste. De plus celle-ci requiert un apprentissage constant par la culture. Autre point sur l’expérience de l’expérimentateur c’est la notion du faire, que nous avions abordé an amont avec Alain et qui s’y réfère aussi avec la notion de l’essence de Blanchot¹⁶ où le langage dépasse l’expérience individuelle pour atteindre une dimension impersonnelle et infinie et qui fait partie du processus de création elle-même, un phénomène cycle où l’écrivain se perd autant qu’il se trouve comme une expérience créative qui dépasse l’humain. Pour finir avec la terminologie de l’expérimentation, le fait de décrire une expérience « c’est prendre appui sur l’expérience originaire du fait¹⁷. » Nous pourrions dire que la description de nos expérimentations plastiques pour arriver à notre dispositif Tala Box est déjà une forme d’expérience.

Avant d’arriver au résultat, notre état de l’art possède un spectre très varié sur l’expérimentation plastique tout au long de l’histoire de l’art. Nous nous sommes d’abord référés aux travaux d’Ernest Florens Friedrich Chladni (1756-1827), connu pour les Figures de Chladni. C’est un pionnier de l’acoustique ; il montrait l’apparition de figures géométriques en saupoudrant une plaque de sable fin, et utilisait un archet de violon pour faire vibrer la plaque, produisant ainsi des formes géométriques¹⁸. La problématique de la représentation du son fut aussi évoquée dans le livre de Kandinsky, Du spirituel dans l’art et dans la peinture en particulier¹⁹. Kandinsky n’écrivait pas seulement sur la théorie esthétique mais aussi sur le rôle de l’artiste concernant la vibration que peut dégager une peinture, d’après lui comme si l’artiste était un prophète capable de voir au-delà du commun des mortels. Il proposait une ouverture vers une spiritualité grâce à ses expérimentations artistiques à travers la musique et les couleurs, car il était le seul à les comprendre et à les maîtriser pour les diffuser au peuple. Il reprenait des codes et du vocabulaire de composition picturale dans Point, et ligne sur plan (1926), publié lorsqu’il était professeur au Bauhaus ; il rejoignait là son collègue Paul Klee, qui, dans Théorie de l’art moderne, avait abordé à peu près les mêmes problématiques. Puis, dans les années soixante à soixante-dix, on peut mentionner Thomas Wilfred et ses machines lumineuses créant un lien avec les espaces colorés de La Monte Young et Maria Zazeela, mais aussi le travail de l’artiste coréen Nam June Paik, avec ses téléviseurs dont les lignes de mire se modifiaient avec les ondes sonores.

Nous pouvons d’une représentation graphique simple retraduire visuellement le mouvement du chef d’orchestre qui bat la mesure et cette dernière peut être représentée en trois dimensions (voir figure 1). C’est à partir de ce schéma que nous avons abordé notre première expérimentation, nous avons cherché à traduire le mouvement par un effet d’élasticité²⁰ ; nous souhaitions qu’une forme s’écarte selon les trois axes XYZ manuellement. L’objectif était : visualiser un mouvement simple avec un minimum de matériel (trois bâtons, trois élastiques, de la pâte à fixe, un cutter et une règle) – et nous nous sommes imposé une contrainte de temps qui était de réaliser ce dispositif en cinq minutes²¹. Nous nous sommes basés sur le principe du dôme géodésique (1950), le modèle Tensegrity²² de Richard Buckminster Fuller, architecte, designer et écrivain. Nous voulions reproduire de manière expérimentale des mouvements mécaniques à l’aide d’élastiques. L’idée est de comprendre le mécanisme et le changement des formes en écartant les élastiques, cela nous permettait de déduire que chaque écart pourrait représenter un mouvement qui découlera donc à 4 mouvements en 4 temps (mesure 4/4). Nous pourrions faire allusion à la valse, dont le mouvement est en trois temps, et dont les pas de danse suivent la pulsation rythmique, ce qui nous permettrait d’avoir trois variations de mouvements et de formes.

Figure 1 : Expérimentation plastique à partir des cadences en musique, 2021.

3. De l’origami à la robotique molle en kirigami

Autre expérimentation²³ que nous avons essayée, c’était l’effet de vibration produit par le son. Notre travail était de comprendre comment utiliser la perception sonore comme effet sensoriel. Pour cela, nous avons testé cet effet de vibration sur un excitateur sans HP (haut-parleur) sur un mini Viboomer²⁴. Cet appareil se fixe sur n’importe quel support avec une ventouse et devient automatiquement une membrane produisant du son, il n’a pas besoin de caisson d’enceinte pour diffuser du son, n’importe quel support lui sert de diffuseur de son. L’objectif de notre expérience, c’est d’observer la propagation sonore, pour commencer, nous avons utilisé une boîte en plastique dans laquelle nous avons versé de l’eau et des épices pour la colorer, mais nous n’avons rien obtenu ; idem avec un bocal rempli d’eau. Par contre, nous avons réalisé la même expérience avec un support en carton et du riz, et l’effet de mouvement a été très concluant. Nous avons également utilisé un plastique gonflé pour voir s’il y avait un effet de perception de vibration. Les résultats n’étaient pas concluants, car les rythmes choisis n’avaient pas assez de densité et de timbres graves pour bien faire vibrer le support. De plus, le haut-parleur était trop petit et pas assez puissant. Les résultats de cette expérimentation sur le son et le mouvement n’étaient donc pas concluants, mais cela nous a permis d’ouvrir nos recherches vers d’autres pistes, comme l’utilisation du papier ou du volume plastique à base d’air. En restant sur la notion de propagation sonore par vibration acoustique, le pli, plus exactement le plissage, est une propagation longitudinale car elle a une « direction transversale devient le "sens de propagation" du plissage »²⁵ (voir figure 2). Ainsi, nous pourrions traduire le mouvement du son en utilisant du papier et en gardant toujours la structure du mouvement du chef d’orchestre (battement de la mesure sur quatre temps). Ce type de pliage fait également allusion à nos jeux d’enfance, comme les cocottes en papier (jeux de salière). De plus, les institutions et réseaux sociaux présentent le pliage comme un retour aux sources au niveau de sa praticité d’un point de vue médical²⁶. Cette pratique existe en France depuis 1899, nous retrouvons ses traces dans le livre des amusettes : contenant 104 amusettes, 43 planches par Toto, et en 1950, par Akira Yoshizawa, qui élaborait un langage du pliage en appliquant des codes graphiques pour réaliser des origamis. Il existe aussi deux autres types de pli dans le domaine du vêtement. Le premier est réalisé par moule, comme dans le travail d’Émilie Doré pour la maison Ratti ; il s’agit d’une technique répétitive artisanale d’un même pli. Le second est le pli par point de Madame Grès, confectionné par moulage ; chaque pièce est moulée et drapée directement sur un mannequin avant d’être nouées ensemble. Aujourd’hui, ce processus du patron de pliage peut être réalisé par informatique²⁷. Pour notre expérimentation, nous avons d’abord étudié l'impact du coefficient de Poisson. C’est une notion mathématique de physique appliquée qui permet d'évaluer la contraction de la matière en fonction la direction de l’effort émis. Par exemple, quand on utilise une paille pour boire après avoir opéré une rotation au niveau du bec afin de le diriger vers la bouche, c'est ce coefficient de Poisson qui conditionne la capacité à l’incliner ou l’étirer²⁸. Nous l’avons appliqué au niveau de la matière sur les effets de mouvement pendant la contraction et l’étirement du volume. Nous souhaitions reproduire, comme dans nos expérimentations précédentes, les effets d’ondulation sonore sur un support rigide, mais nous n’avons pas obtenu le résultat escompté, car les plis sur support rigide diffusent beaucoup de bruit parasite, perturbant la diffusion de la musique si nous utilisions cette technique pour la Tala Box.

Figure 2 : Expérimentation Robotique Molle (Soft Robotics), Bombe à eau, 2021.

Une autre expérimentation consistait à utiliser des polymères souples en intégrant de l'air dans ces contenants plastiques tout en gardant l’idée du pliage. Cela se nomme la Robotique Molle. Elle débute au MIT (Massachusetts Institute of Technology), Computer Science and Artificial Intelligence Laboratory, où les recherches portaient sur des polymères imprimables électroniques en 3D avec des réseaux de capteurs et d’interconnexions appelés voies sensorimotrice. Ici, le terme kirigami désigne l’utilisation de la découpe en plus du pliage. De plus, comme notre recherche est dans le domaine de la santé, nous avons observé que d’autres chercheurs comme Miriyev et Stack²⁹, en 2017, ont réussi à fabriquer une structure musculaire à partir d’impressions 3D, fonctionnant avec une décharge de 30 V. et 1,5 A. ; un muscle artificiel, biceps brachial « électrique », capable de soulever une charge d’1 kg. Ils ont intégré à l’intérieur du prototype un fil électrique en forme d’accordéon qui réalise les contractions du polymère et permet de faire avancer la structure. Ces recherches ont progressé de manière considérable. Dans un article³⁰ récent de 2024, une équipe européenne, Kalid Yasir, Ullah Arfi, et al., utilise l’intelligence artificielle, l’origami, l’impression 3D et le kirigami pour des recherches liées à l’environnement et à la santé.

Pour notre expérimentation, le principe était de fabriquer un moule en résine rectangulaire et de prévoir une cavité pour une entrée de tuyau afin d’envoyer de l’air à partir d’une pompe. Le mouvement se produit à partir de l’aller-retour de l’air à l’aide d’une seringue. Notre idée est restée identique aux autres expérimentations : nous voulions traduire le son en mouvement. La notion de respiration était un point de départ intéressant pour aborder la partie technique de ce travail : une énergie naturelle qui provoque un mouvement, comme le font les éoliennes. Nous avons l’idée des alvéoles dans les poumons qui se gonflent d’oxygène. On obtenait ainsi un mouvement grâce aux mouvements de tentacules et via la fabrication de Flat Pneumatic³¹. Cette dualité d’origine hybride et la technicité de l’instrument nous ont interpellés. Nous avons également inclus la piste de nos recherches en pliage, car nous nous demandions si la robotique molle pouvait faire plier le papier comme un muscle. Nous sommes partis sur l’idée des bombes à eau en pliage, puis avons mis un Flat Pneumatic à l’intérieur pour les voir gonfler. Il y avait certes un effet de respiration, mais le résultat n’était pas concluant.

De l’expérimentation en dôme géodésique à partir d’élastiques à l’utilisation d’enceintes pour voir le mouvement de l’eau, d’essais avec des pliages en papier pour reproduire un effet de mouvement à un workshop en robotique molle, nous revenions toujours aux mêmes interrogations sur la traduction du son en mouvement 3D.

4. Du mou au mécanique

L’idée d’utiliser des principes d’arts mécaniques n’est pas due au hasard. Dans la robotique molle, le principe de la biomécanique musculosquelettique est parfois employé pour la santé, notamment au niveau des forces et des articulations, comme dans les exemples cités ci-dessus. Cependant, elle est très complexe à appliquer dans le domaine de la physique biomédicale : « Mathématiquement, ce phénomène se traduit par des systèmes de résolution comportant moins d’équations mécaniques que d’inconnues (tensions des muscles, forces articulaires et forces ligamentaires)³² ». D’un point de vue musical, quand on pense mécanique et son, on imagine peut-être le piano. Au niveau organologie, c’est un mécanisme rotatif qui produit du son grâce aux marteaux qui frappent les cordes, inventé par Bartolomeo Cristofori en 1709 et réadapté par Sébastien Érard en 1821 qui a retravaillé le rapport de la latence de la frappe. Ce mouvement de balancement mécanique nous semble intéressant, comme le suggère Pisano dans son livre dans Une archéologie du cinéma sonore : « Plus proche de nous, la médecine, qui dès le XVIII^e siècle s’était penchée sur l’analyse des phénomènes organiques en s’appuyant sur les lois de la mécanique, établit concrètement le cadre d’une première interaction entre les recherches en acoustique et en optique³³. ». Cette relation entre l’acoustique et l’optique peut être rendue pour le piano par l’observation du geste mécanique qui produit du son.

Pour éviter l’intervention humaine pour déclencher le son, on entre dans le monde des automates, comme la Joueuse de tympanon³⁴. Avant d’expliquer le phénomène des automates, il est intéressant, d’un point de vue historique et technique, de remonter aux marionnettes. Les marionnettes existent depuis l’Égypte, la Grèce et la Rome antiques : « Le rare degré de perfection qu’atteignirent les marionnettes dans l’antiquité explique comment des hommes tels que Platon, Aristote et Marc-Aurèle ont fait de si fréquentes allusions à ce spectacle et emprunté à cet emblème de l’homme, jouet de ses passions ou de la destinée, tant de sages conseils et d’éloquentes comparaisons³⁵. ». Cependant, le célèbre récit d’un pantin de bois se transformant en petit garçon est l’histoire la plus marquante dans les esprits européens. C’est ce rapport que Pisano met en avant avec une relation forte entre mécanique et phénomènes organiques. Il fait d’abord allusion à la Tour de l’Horloge, datant de 1496-1499, à Venise, située sur la place Saint-Marc, où des personnages mécaniques frappent les heures sur une cloche avec un marteau. D’autres systèmes de rouages et d’engrenages ont ensuite évolué grâce à Jacques Vaucanson, qui a fabriqué Le flûteur automate, pouvant exécuter plusieurs morceaux en soufflant naturellement dans sa flûte, et Le Canard digérant ou défécateur, un canard fonctionnant par un système de ressorts ; l’aliment était peut-être dissous par un dissolvant.

Toutes ces références historiques sur les automates, nous ont questionné sur la notion d’articulation. Dans notre expérimentation, nous avons eu l’idée d’une araignée mécanique³⁶ imprimée en 3D dont les pédicules seraient articulés de manière autonome, comme les doigts d’une main et seraient pilotés par un nano ordinateur Raspberry Pi 3 B+. Cependant, nous ne savions pas comment la mettre en place, car sa taille et son poids d’un kilo, était trop imposants, comme la T8 3D Printed Octoped Robot par Robugtix en 2013. Nous avons alors imaginé sous forme de dessin un dispositif composé d’une grande toile de 180 x 80 cm, derrière laquelle de petites mains articulées en impression 3D bougeraient en se fermant et s’ouvrant, à l’image des Gerridés. De l'autre côté de la toile, on aurait seulement vu les plis des écartements des doigts en lien avec le rythme.

5. Expérimentation plastique en mécatronique

Ces recherches nous ont permis de nous questionner sur la notion de mécanisme autonome à partir d’un ordinateur mais aussi de comprendre si nous pouvions réaliser des articulations et si c’était possible de reproduire le mouvement réel du son. Et depuis quelques années, l’informatique a ouvert des possibilités d’applications mécanique à partir de capteur, d’impression 3D, de système embarqué comme les Arduino³⁷ qui sont des mini-ordinateurs qui font la moitié de la taille d’un smartphone et qui proposent des possibilités très variés grâce à des contributions des artistes, des Makers et des Fablab. Nous avons réalisé qu’il était nécessaire de vérifier la faisabilité du dispositif. Il fallait donc revenir à l’essentiel, le son. C’est ce que nous allons démontrer en quatre point pour la mise du mécanisme électronique qui traduit le son en haptique :

5.1 Du mécanisme analogique au mouvement numérique

Nos recherches sur le traitement des signaux analogiques avaient commencé pendant nos travaux sur des installations vidéo et sonore. À cette époque, nous voulions traduire analogiquement par des effets de turbulences sinusoïdales en intégrant des fréquences graves, elles-mêmes constituées d’agrégats de notes. Nous étions capables de transformer du son en mouvement, que ce soit par l’eau ou les ondes vidéo³⁸. En revanche, créer un mouvement automatique à partir d’un mécanisme comme des pantins qui bougent selon les rythmes du son n’était pas aisé. Il fallait donc s’organiser selon trois étapes : échantillonner le son, transformer cette sonorité en code, et à partir de ce code, déplacer un mécanisme :

5.2. Échantillonnage numérique

Si on peut échantillonner des sons, nous pouvons alors échantillonner des rythmes et obtenir des flux numériques de données. L’échantillonnage numérique est un procédé qui permet de numériser un signal analogique dont la fréquence d’ondulation (valeurs intervalle) est constante, et ainsi de le transformer en langage binaire « […] consiste à ne retenir que certains points de la courbe amplitude/temps pour minimiser la quantité d’information à stocker.³⁹ ». Il est alors possible d’utiliser ces échantillons via un programme écrit en Python. Python est un langage informatique sous forme de codes, très utilisé dans des applications Web, dans le développement de logiciels ou encore dans le Machine Learning.

5.3. Encodage

L’échantillonnage numérique n’est qu’une première étape. Ce langage de codage va permettre de traiter l’échantillonnage en appliquant la transformation de Fourier, une opération qui décompose tout signal. Son principe est que toutes les fonctions périodiques complexes peuvent s’exprimer comme la somme de fonctions simples comme des sinus ou des cosinus⁴⁰ . Pour comprendre intuitivement cette opération sur le signal, essentiel au traitement effectué dans notre dispositif : prenons le son émis par une touche de téléphone sans fil ; il correspond à une sinusoïde pure (également appelée fréquence 440 Hertz, le Hertz étant le nombre d’oscillations par seconde), simple mais peu intéressante musicalement. En revanche, si l'on joue la même note avec un violon, la courbe du son sera certes périodique, mais nettement plus complexe et variable dans le temps, le violon diffusant une richesse harmonique ; c’est cette richesse qui caractérise le timbre de l’instrument à travers les structures des courbes périodiques. D’après le théorème de Fourier, on peut reconstituer cette courbe en superposant une infinité de sinusoïdes de fréquences variables (qu'on appelle le "spectre" du son original) : d’abord la fondamentale, correspondant au son de base de la note, puis toute une série de sinusoïdes de fréquences croissantes correspondant aux harmoniques bien connues des musiciens. Plus on ajoutera de sinusoïdes harmoniques à la fondamentale, lors de l'étape de synthèse sonore, plus le son combiné ressemblera au son du violon.

6. Transformation de Fourier sous Python

Nous avons utilisé cette fonction (transformation de Fourier) grâce à la bibliothèque Librosa, un package Python permettant de faire de l’analyse musicale et audio. Il fournit les éléments de base pour la création de fichiers de recherche d’informations musicales⁴¹, et il est utilisable avec le langage de programmation interprété Python. À partir de ce codage, nous avons obtenu un spectre sonore et utilisé les informations liées à ce spectre pour définir les paramètres de mouvement des « bras » de la Tala Box (voir figure 3). Le plus difficile était de calibrer le tempo et de l’analyser via la librairie Librosa. En particulier, une analyse fréquentielle a été réalisée en utilisant la transformation de Fourier à fenêtre discrète. Nous avons ainsi traité l’échantillonnage des rythmes et simulé graphiquement le déplacement des boules de la Tala Box avec ce résultat. Dès que nous avons eu le code résultant, nous l’avons intégré dans la carte Arduino de la Tala Box pour effectivement mettre en mouvement celle-ci en fonction de la musique correspondante.

Après avoir mis en place les bases du mécanisme pour le fonctionnement des bras à l’aide de différents moteurs et cartes Arduino, la deuxième tâche consistait à réaliser la forme de l’objet. La recherche formelle a soulevé de nombreuses questions d’ordre anthropologique, sociétal et culturel car nous devions faire référence à la culture indienne dans sa globalité⁴². Cette interrogation ne s’est pas posée pendant les phases de maquettage en musique, considérée comme un art lié au temps et non à l’espace et à la matière⁴³. Initialement, notre recherche morphologique se concentrait sur les gestes de l’utilisateur, pouvant suggérer une forme générale invisible : « Les gestes ont été un phénomène d’intérêt pour de nombreux domaines différents, entraînant une variété de perspectives théoriques sur le sujet⁴⁴. ». L’invisibilité du geste permet de déduire une forme. La théorisation du geste nous a permis d’imaginer différents scénarios⁴⁵ pour visualiser une forme expérimentale. Nous nous sommes concentrés sur la posture des mains sur le futur dispositif pour imaginer la posture globale de l’utilisateur et esquisser différentes formes de l’objet à partir du positionnement des mains.

L’expérimentation avec les modules gonflables (soft robotique) nous a donné l’idée d'une voûte semi-circulaire (vue de profil), comme le ventre d’une femme enceinte, pour évoquer une forme « universelle » et reconnaissable comme un outil pour l'haptonomie⁴⁶ comme nous l’avons évoqué en amont que le dispositif était destiné aux patients Alzheimer et qu’il y a souvent une situation de réminiscence⁴⁷, il était judicieux d’évoquer ce type de forme symbolique. Au niveau de la fabrication, il fallait prendre un grand ballon, le couper en deux, le couvrir d’élastomère liquide, le faire sécher et refaire un deuxième moule. Sur le premier moule, nous fixions des micros moteurs vibrants et des HP sur le deuxième, reliés à une carte Arduino avec une carte SD, pilotée par une application sur smartphone. Puis il fallait relier les deux demi-sphères, attendre le séchage, et prévoir des fils pour l’alimentation. Nous voulions créer une relation entre le matériau et l’utilisateur, créant ainsi une interaction entre le matériau de mémoire sonore et l’auditeur (voir figure 3) : « […] la relation idéale entre le matériau de mémoire sonore et l’écoutant exige un engagement perceptuel et émotionnel de la part de l’auditeur, envers les objets ou les événements sonores qui se passent dans un temps et un espace indissociable dans le moment de l’écoute⁴⁸. ».

Figure 3 : Structure rythmique en mouvement mécanique pour la Tala Box, 2021.

Notre recherche joue sur l’interaction avec la perception sonore, clé de notre axe de l’expérimentation formelle pour éveiller un sentiment de détente en accentuant la forme circulaire. Cette forme circulaire est celle qui comprend en soi toutes les figures et elle est une forme « universelle » d’après Catherine Dolto. La recherche formelle demi-sphérique est revenue plusieurs fois dans nos exercices graphiques, évoquant des instruments de musique comme le tabla ou le mirdangam. Le tambour est décrit par sa forme circulaire, symbolisant l’univers, sa pulsation et sa transcendance comme l’évoque les auteurs dans le Livre des Symboles car le circulaire est : « naturellement la pulsation de l’univers, mais aussi le ravissement et l’immédiateté d’une sphère qui en transcende les limites⁴⁹. ». Nous voulions également réinterpréter l’instrument de musique indienne avec cette fonctionnalité mécatronique, en utilisant un élastomère souple pour donner plus d’amplitude à la posture des mains. Le choix d’une matière souple nous paraissait essentiel dans notre processus de recherche matériologique, bien que fixer une matière souple de forme cylindrique soit complexe pour le prototype envisagé. Selon certains chercheurs en matériaux, la forme parabolique peut se dégrader avec le temps, perdant ainsi sa tenue initiale : « À cause de ce phénomène de dégradation, nous définissons la “durée de vie” du matériau, c’est-à-dire le temps au bout duquel une propriété atteint un seuil critique en-dessous duquel le matériau n’est plus apte à l’emploi. Les différents mécanismes responsables de la dégradation des polymères peuvent être classés en deux grandes catégories : le vieillissement physique et le vieillissement chimique⁵⁰. ».

Notre recherche formelle avec des tissus acoustiques nous a orientés vers le parallélépipède, similaire à un haut-parleur de salon. Nous avons testé cette forme dans des installations comme Aqua sonore, Reflet sonore et Onde-sonore. Nous nous sommes inspirés de la boîte de Robert Morris, Box with the Sound of Its Own Making, (1961), enregistrant la construction de celle-ci sous format audio et la diffusant à l’intérieur. D’autres artistes occidentaux se sont inspirés de la forme parallélépipède, de la camera obscura à la boîte à musique mécanique.

7. Conclusion

Notre article démontre que nos expérimentations plastiques sur différents matériaux et techniques pour traduire le son en mouvement impliquèrent une méthodologie aboutissant à un objet en design mécatronique pour un usage spécifique. Cette démarche inclut des rendus plastiques, en utilisant diverses méthodes pour visualiser et traduire le son en mouvement. Nous avons été influencés par des artistes et théoriciens ayant exploré la relation entre son, mouvement et perception visuelle avec des dispositifs simples pour représenter le mouvement du son, tels que l'utilisation d'élastiques pour montrer des mouvements en trois dimensions, et des tests de vibration sonore sur différents matériaux comme le plastique et le carton. Nous avons aussi étudié le pliage du papier pour reproduire les effets sonores et les mouvements, inspirés par des techniques de pliage traditionnelles et modernes comme l'origami et le kirigami. Ces démarches ont ensuite permis d’étudier la robotique molle, intégrant des polymères souples et de l'air pour créer des mouvements. Puis nous avons utilisé des signaux numériques pour transformer le son en mouvement mécanique par l'échantillonnage numérique et la transformation de Fourier pour analyser les fréquences sonores et les coder en mouvements spécifiques. Le logiciel Python, notamment la bibliothèque Librosa, nous a aidé à analyser et à créer des mouvements synchronisés avec le spectre sonore, appliqués aux bras de notre dispositif, la Tala Box.

En conclusion, notre projet a impliqué une approche multidisciplinaire, intégrant des concepts de son, de mouvement et de perception visuelle pour créer une expérience immersive et innovante. Les études menées ont permis de mieux comprendre les relations complexes entre ces éléments et d'ouvrir de nouvelles perspectives pour la création artistique. Ce processus expérimental a inclus des considérations sanitaires et d'usage, particulièrement pour un public composé de personnes âgées. Nous l’avons testé auprès des personnes âgées en juin 2021 à Villeneuve-le-Roi dans un Ehpad de chez Domitys⁵¹. Tout en proposant une approche auditive et tactile, nous avons cherché à rendre le son intelligible sous forme de matière, intégrant ainsi des règles strictes d'asepsie pour garantir la sécurité et l’efficacité de nos dispositifs.

En proposant une approche auditive et tactile, nous avons cherché à rendre le son saisissable sous forme de matière, intégrant des règles strictes d'asepsie pour garantir la sécurité et l’efficacité de nos dispositifs.

Bibliographie :

Affagard Bruno, Lafrague Jean-Noël, Geridan Jean-Michel, Projets créatifs avec Arduino, Pearson, Montreuil, 2014.

Alain, Vingt leçons sur les Beaux -Arts, Gallimard, Abbeville, 1955.

Amaied Emna, Vargiolu Roberto, Bergheau Jean-Michel, Zahouani Hassan, “Aging effect on tactile perception: Experimental and modelling studies”, 20th International Conference on Wear of Materials, 2015.

Antoniou Kleanthis, Erkan Oterkus, « Origami influence on container design », Ann Limmol Oceanogr, 4(1), 2019.

Ben Hassine Mouna, Modélisation du vieillissement thermique et mécanique d’une protection externe en EPDM de jonctions rétractables à froid. Thèse, Ecole nationale supérieure d’arts et métiers (ENSAM), Paris, 2013.

Benguerel André-Pierre, « Mesures acoustiques et mesures psychoacoustiques », Bulletin techniques de la Suisse Romande, N°4, 1973.

Bensmaia. J Sliman, Weber Alsion, Saal Hannes P, Lieber Justin, Cheng Ju-Wen, Manfredi Louise R, Spatial and temporal codes mediate the tactile perception of natural textures, Ranulfo Romo Universidad Nacional Autonoma de Mexico, 2013.

Beyaert-Geslin Anne, Les chaises : Prélude à une sémiotique du design d’objet, Signata n°1, 2010.

Bosseur Jean-Yves, Musique et Arts plastiques : Interactions au XX^e siècle, Minerve, Paris, 1998.

Bouvard Emile, Daniel Hugo, Processus réactifs : Expériences, représentations et significations de la production de l’œuvre d’art aux XX^e et XXI^e siècles, Publication de la Sorbonne, Paris, 2016.

Brian Mc Fee, et al., Librosa : Analyse des signaux audio et musicaux en Python, 2015.

Chladni Ernest Florens Friedrich, Entdeckungen über die Theorie des Klanges, 1787.

Chevalier Jean, Gheerbrant Alain, Dictionnaire des symboles : Mythes, rêves, coutumes, gestes, formes, figures, couleurs et nombres, Jupiter Robert Laffont, Revue et augmenté, Paris, (1969) 1982.

Criton Pascale, Chouvel Jean-Marc, Gilles Deleuze : La pensée-musique, Institue Acte, Cdmc, Paris 2015.

Dahan Jean-Jacques, La démarche de découverte expérimentalement médiée par Cabri-Géomètre en mathématiques : un essai de formalisation à partir de l'analyse de démarches de résolutions de problèmes de boîtes noires. Université Joseph-Fourier - Grenoble I, 2005.

De Meredieu Florence., Histoire matérielle et immatérielle de l’art moderne, Larousse, Bordas, Paris, 1994.

Deleuze Gilles, Le Pli-Leibniz et le baroque, Les éditions de Minuit, Critique. Paris, 1987.

Deschamps Chantal, L’approche phénoménologique en recherche : Comprendre en retournant au vécu de l’expérience humaine, Guérin, Universitaire, 1993.

Dolto Catherine, « Accompagnement haptonomique de la grossesse dans son aspect préventif en cas de dépression maternelle », Neuropsychiatrie de l’enfance et de l’adolescence, 52(5), 2004.

Donovan Jared, Bereton Margot, “Movements in gesture interfaces”, (Eds.) Proceedings of the Workshop : Approaches to Movement-Based Interaction. Interaction Design and Work Practice Lan, Australia, 2005.

Findeli Alain, Bousbaci Rabah, « L’éclipse de l’objet dans les théories du projet en design. », The Design Journal, 8(3). 2005.

Findeli Alain, « La recherche-projet en design et la question de la question de recherche : essai de clarification conceptuelle », Sciences du Design, 1, 2015.

Garnier Hugues, Composition en série de Fourier : Signaux périodiques, Polytech Nancy, Université de Lorraine, 2018.

Kandinsky Wassily, Point et ligne sur plan. Folio, Gallimard, 1991.

Lechot Hirt Lysianne, Modèles pour une pratique expérimentale : Recherche-création en design, MétisPresses, Genève, 2010.

Magnin Charles, Histoire des marionnettes en Europe, depuis l’antiquité jusqu’à nos jours, Hachette BNF, Histoire, (1852) 2013.

Massin Olivier, L’Objectivité du toucher : métaphysique et perception, thèse de l’Université d’Aix-Marseille, 2010.

Medina Ana Cecilia, « « Récits » sonores, textes transmédiaux pour les oreilles », Revues française des sciences de l’information et de la communication, 2017.

Meyer Julien, Proposition d’un modèle numérique pour la conception architecturale d’enveloppes structurales plissées : application à l’architecture en panneaux de bois, Thèse Architecture, aménagement de l'espace. Université de Lorraine, 2017.

Miriyev Aslan, Stack Kenneth, Lipson Hod, « Soft material for soft actuators », Nature Communications, 2017.

Mouëllic Gilles, Improvisation : Le Jazz, Comme Modèle. Du Bebop Au Free Jazz., Étude Musurgia, 2009.

Narigny Pauline, Musique/peinture, la tentation de l’analogie : Le cas de Morton Feldma, Archives de Philosophie, vol. 80, n°2, 2007.

Nietzshe Friedrich, Le Crépuscule des idoles, Paris, Flammarion, GF-Philosophie, (1888) 2017.

Park Yong Lae, Santos Jobim, Galloway Kévin G, Goldfield Eugène C, Wood Robert J, Un dispositif robotique portable souple pour les mouvements actifs du genou grâce au développement de muscles artificiels pneumatiques compacts et plats, IEEE ICRA, International Conférence Robotique et automatisation, Convention et centre d’exposition, Hong Kong, juin 2014.

Perera Luc, Tala Sound : un projet social pluridisciplinaire en design sonore carnatique pour patients Alzheimer, Thèse PSL SACRe EnsAD Design, 2022, p.132.

Perera Luc, Jouvelot, Pierre, « Design sonore et activité spécifiques, Cas n°6 : Dispositif sonore interactif en gériatrie. », Design Sonore : Application méthodologie et études de cas, F. Pecquet (dir.), Dunod, 2021.

Perera Luc, Jouvelot Pierre, « L’axiologie gestuelle du dispositif sonore Tala Box pour l’apaisement des patients Alzheimer », F. Pecquet (dir.), Valeurs et usages du son, Delatour France, 2024.

Pisano Giusy, Une archéologie du cinéma sonore, CNRS, coll. Cinéma et audiovisuel, Paris, 2004.

Raoui Hanane, Tisser autour d’Angelica Kauffmann et de sa Pénélope, Université Mohammed V, Agdal, Maroc, 2013.

Renner Claude, A propos des cornets acoustiques, Histoire des sciences médicales, Tom XXXVII (2), Chennevières-sur-Marne, 2003.

Rey-Debove Josette, Rey Alain, Dictionnaire Le petit Robert 1. Paris : Dictionnaires Le Robert, 1987.

Riegl Alois, Grammaire Historique des arts plastiques, Hazan, (1978) 2015.

Ronnberg Ami, Martin Kathleen, Le livre des symboles : Réflexions sur des images archétypales, Varia, Taschen, Chine, 2011.

Saladin, Matthieu, L’expérience de l’expérimentation, Les presses du réel, Dijon, 2015.

Souriau, Etienne, Vocabulaire d’esthétique, PUF, Quadrige Dicos Poche, Paris, 1990.

Siéfert Marion, Lisak, Lucille, « Qu’est-ce que l’improvisation musicale ? », Tracés, Revue de Sciences humaines, (18), 2010.

Subramanien Sundaram, Ziwen Jiang, Pitchaya Sitthi-Amorn, David S Kim, Marc A Baldo, Ewojciech Matusik, “3D-Printed Autonomous Sensory Composites”, Revue Advanced Science News Materials Technologies, vol 2, N°3, 2017.

Talbot-Mahmoudi Camille, « Concept de réminiscence : évolution et applications en pratique clinique auprès de sujets âgés et dans la maladie d’Alzheimer ». Revue de neuropsychologie, Volume 7(2), 2015.

Tolman Seans S, Howell Larry, Fullwood David. T, “Material selection for elastic energy absorption in origami-inspired compliant corrugations”, Smart Materials and Structures, 23(9), 2014.

Valery Paul, Première leçon du cours de poétique, Gallimard, Paris, 1944.

Vigouroux Laurent, Modélisation biomécanique des système musculosquelettiques sous déterminés. Analyse statique des tensions des tendons mobilisant le doigt, Thèse Sciences du Vivant. Université Joseph-Fourier, Grenoble I, 2005.

Yasir Khalid Muhammad, Zia Ullah Arif, Ali Tarqi et al., “3D printing of magneto-active smart materials for advanced actuators and soft robotics applications”, Journal européen des polymères, Vol.25, 2024.

Zanotti Jean-Pierre, Codage d'un signal audio-numérique, Rapport de recherche, N°RR-3333, INRIA. 1998.