Moviment i so

 
 

La tecnologia que converteix el moviment d’Anna Hierro en un instrument de l’Ensemble Topogràfic

 

A l’agost va sorgir entre arrossars i mosquits l’Ensemble Topogràfic. Una banda a cavall entre les guitarres i moodswingers d’Andreu Garcia, les programacions i percussions d’un servidor, però sobretot amb un element que, personalment crec que dota a l’Ensemble de quelcom especial: el moviment de l’Anna Hierro, ballarina de dansa contemporània capaç de traduir en moviment el so que generem l’Andreu i jo.

El cas és que per tancar el cicle so — moviment, una de les idees que hem posat en pràctica és convertir la dansa de l’Anna en so a través d’un sensor de moviment i un ordinador. I precisament, en els pocs concerts que hem pogut fer és la pregunta que més gent ens fa: què porta l’Anna al braç? A què sona l’Anna? Com ho feu?

La idea bàsica

Fa uns cinc anys em vaig comprar el primer model d’iPod Touch, amb la idea de fer-lo servir com a reproductor de música, navegador i control remot de les aplicacions musicals —Ableton Live— i de VJ —Modul8—. Havia vist algunes aplicacions d’iTouchMidi que aprofitaven la WiFi per convertir l’aparell en un controlador MIDI inalàmbric. Al poc de tenir l’iPod va arribar a les meves mans la primera aplicació realment interessant: MRMR, que permet enviar també les dades que generen l’acceleròmetre i el giroscopi de l’aparell.

Així que quan vam començar a plantejar l’Ensemble, se’m va acudir reciclar l’iPod que ja tenia en desús, combinar el seu acceleròmetre —que, en essència, captura els moviments de l’aparell—, amb el moviment del braç de l’Anna, i que aquestes dades es convertíssin en música mitjançant MIDI, ja que el braç és la part del cos que més es mou.

Actualment, no hi ha massa informació de MRMR a la xarxa, però podeu instal·lar-lo des de l’App Store en dues versions, MRMR Legacy compatible amb iOS 3.x i 4.x, i MRMR OSC Controller per als més nous. Hi ha també una alternativa per Android que s’anomena andOSC. Tots free.

El procés

Anàlisi de les dades de l’acceleròmetre i el giroscopi mitjançant OSCulator.

El primer que requereix el procés és estudiar quines dades enviem del moviment, per aprofitar-les després d’una manera el més expressiva i natural possible.

Per tal, es crea una xarxa wifi privada fent servir el Mac com a punt d’accés, i hi connectem l’iPod. MRMR envia les dades a través del port que nosaltres hi configurem (per defecte, el 8000) i ho fa amb el protocol Open Sound Control, OSC. Bàsicament envia la posició de cadascun dels sensors a cada instant i a una freqüència determinada. MRMR, a més, permet fer a mida el controlador (incloure botons, sliders, knobs, acceleròmetre…), però amb la plantilla accelerometers_demo que ja incorpora MRMR en tenim suficient.

Capturem aquestes dades a temps real mitjançant OSCulator —de pagament, en aquest cas—, que en aquest primer pas ens serveix per visualitzar com es comporten els sensors, amb el mode Quick View. De tot el que podem aprofitar, el paràmetre més interessant és el /force de l’acceleròmetre. És el que utilitza l’aparell per saber si està en un pla horitzontal o vertical, i l’utilitza en part per, entre altres coses, fer la rotació automàtica o com a control del joc Super Monkey Ball.

OSCulator, a més de capturar missatges OSC permet enrutar-los a altres dispositius o convertir-los a MIDI. I aquí és on entra en joc Ableton Live. Assignem els missatges OSC del paràmetre /force de l’acceleròmetre, a un control continu MIDI (MIDI CC). En aquest exemple, s’assignen a valors del canal 10.

OSCulator converteix missatges OSC a MIDI CC.

OSCulator converteix missatges OSC a MIDI CC.

Un cop ja hem fet la conversió a MIDI, Ableton Live reconeix automàticament el dispositiu activant el mode MIDI Learn pel valor de MIDI CC assignat a cada paràmetre. En aquest exemple, hem assignat el paràmetre /force de l’acceleròmetre al paràmetre Rate de l’arpegiador i al pitch del sintetitzador FM8.

Només queda acabar de decidir com Anna pot fer la seva interpretació més expressiva. Amb un altre patch del sintetitzador FM8, hem assignat el paràmetre /force a la modificació de pitch i el volum general del sinte, de manera que si posa l’iPod en horitzontal, el pitch i volum baixen, i si pel contrari, el posa en vertical, el pitch i volum augmenten, com es veu a l’últim vídeo.

Demo de l’iPod modificant els paràmetres d’un arpegiador del sintetitzador FM8.

Anna provant un patch de veus marcianes amb l’iPod. *Perdoneu el soroll de fons*

Per aprofitar millor el moviment, per exemple, assignem la rotació de l’iPod en l’eix Y —el paràmetre /accelerometerY— a una capa de soroll que es modifica segons l’angle de rotació, o el paràmetre /direction a l’escala de l’arpegiador. Hi ha mil combinacions diferents, nosaltres encara experimentem amb elles. I el millor de tot, és que usant OSC i MIDI, podem controlar qualsevol sintetitzador o instrument que pugui rebre instruccions en qualsevol dels dos protocols.

Una de les idees que, per això, tinc ganes de provar és aprofitar els nous iPods/iPhones amb altímetre, que permetria controlar el pitch mitjançant l’altura, i dotaria a l’Anna de més control expressiu. També vull incorporar en el futur algun patch de MAX/MSP amb el que aconseguiria disparar notes només quan hi ha moviment. Ara per ara, assigno un arpegiador al sintetitzador, de manera que està disparant notes contínuament.

Carlos Martorell