ARTIGOS

Instrumentos musicais aumentados: conceitos e possibilidades de aplicações interativas

Sérgio Freire^I

^IProfessor associado da Escola de Música da UFMG, onde desde 1998 coordena as atividades de pesquisa e artísticas do Laboratório de Performance com Sistemas Interativos (LaPIS). Atua nas áreas de composição, orquestração e sonologia, tendo sido coordenador do Programa de Pós-Graduação em Música dessa instituição entre 2009 e 2015. É graduado em composição musical, mestre em sonologia e doutor em comunicação e semiótica. Seus principais interesses acadêmicos e artísticos estão voltados para as diferentes formas de interação entre a prática musical acústica e os novos meios tecnológicos.

O texto aborda as possibilidades de uma prática musical aumentada, em seus aspectos técnico-tecnológicos e sonoro-musicais, a partir do reconhecimento da riqueza das interações entre seres humanos e instrumentos musicais, aqui ilustrada por tópicos da organologia, da acústica e da performance musical. Embora o termo aumentação passe a ser utilizado somente após a introdução das tecnologias digitais, argumenta-se que esta ideia não é estranha à exploração dos instrumentos acústicos em diferentes contextos culturais. É também apresentada uma definição de instrumentos musicais aumentados (Miranda e Wanderley, 2006), suficientemente abrangente para contemplar diferentes configurações tecnológicas e explorações individuais mais recentes. Por fim apresentamos algumas iniciativas próprias de aumentação instrumental, acompanhadas de uma discussão mais geral sobre seus desafios e potencial.

Palavras-chave: Instrumento musical; Aumentação instrumental; Prática musical aumentada; Sistemas musicais interativos

Introdução

Instrumentos musicais estão presentes nas diferentes culturas do mundo, mesmo quando não são assim chamados, e envolvem a atuação de artesões, fabricantes, praticantes e apreciadores em diversos níveis de expertise. Sua variedade acompanha a grande diversidade de modos de se produzir vibrações acústicas percebíveis por seres humanos.

Eles participam de uma modalidade bastante especial da cognição humana, ao combinar uma curiosidade natural pelos objetos que nos cercam com os desafios propostos não só pela natureza e transformações desses objetos, mas também por demandas advindas das próprias ações e percepções que vão surgindo nesta exploração. Este processo não se limita a objetos do mundo exterior; pelo contrário, desde seu nascimento os seres humanos aprendem a se expressar vocalmente, em um processo que envolve todo o organismo na construção de sua identidade e na concepção de seu meio ambiente.

"A relação entre pessoas e instrumentos musicais sempre foi fortemente influenciada por desenvolvimentos tecnológicos, sejam estes conceituais, mecânicos, eletroeletrônicos ou digitais."

A relação entre pessoas e instrumentos musicais sempre foi fortemente influenciada por desenvolvimentos tecnológicos, sejam estes conceituais, mecânicos, eletroeletrônicos ou digitais. O presente texto se propõe a apresentar um breve panorama dos atualmente denominados instrumentos musicais aumentados, incluindo suas possibilidades, desafios e alguns exemplos. Esta apresentação é precedida por uma discussão de aspectos importantes dos instrumentos musicais acústicos, tais como sua natureza, produção sonora e performance.

Elementos de organologia

A organologia é um ramo da musicologia que consiste no "estudo dos instrumentos musicais em termos de sua história e função social, design, construção e relação com a performance".^[1] Uma das sistematizações mais utilizadas é aquela realizada por Erich von Hornbostel e Curt Sachs,^[2] que divide os instrumentos em quatro grandes grupos: idiofones, membranofones, cordofones e aerofones. Em uma extensão posterior proposta por Francis Galpin,^[3] foram também incluídos os eletrofones.

Os idiofones são definidos como "instrumentos que produzem seu som através de vibrações da substância do próprio instrumento", podendo ser percutidos, raspados, pinçados, friccionados ou soprados (Brown, 2001)^[4]. Substâncias como metal (sinos, pratos, triângulos), madeira (blocos, xilofones), pedra e vidro são amplamente utilizadas. Os membranofones produzem sons por meio da percussão, fricção ou mesmo da ressonância por simpatia de membranas tensionadas (em alguns casos esta tensão pode ser variada durante a performance). Já os cordofones produzem seu som por meio de vibrações de cordas tensionadas, dentre os quais se incluem o piano, violão e harpa. Os aerofones exploram vibrações que se formam no próprio ar, esteja este confinado pelo corpo do instrumento ou não, como no caso do zumbidor ou bullroarer.^[5]. Os eletrofones vieram preencher uma lacuna importante da organologia do século XX (basta se lembrar da grande difusão da guitarra elétrica e de órgãos eletrônicos), tendo como característica comum a difusão sonora por meio de alto-falantes. Aqui os instrumentos aparecem associados a termos tais como eletrônico, eletromecânico e eletroacústico.

A classificação de Sachs-Hornbostel está ancorada na natureza dos materiais nos quais ocorrem os principais processos acústicos de reflexão de impulsos e ondas (que sustentam e caracterizam as vibrações), difusão sonora (que faz o som chegar até nós) e demais perdas energéticas (calor, atrito, etc.).^[6] Cada um dos quatro grupos (sem levar em conta os eletrofones) apresenta diferentes subdivisões, que abordam aspectos mais específicos de cada tipo de instrumento catalogado, ilustrando a riqueza das estratégias desenvolvidas por diferentes culturas. Já os eletrofones são mais difíceis de se categorizar, dada a grande facilidade de combinações de componentes eletroeletrônicos, e do advento das tecnologias digitais com sua crescente capacidade de modelação de sistemas físicos. De modo geral, os instrumentos apresentam interações complexas entre diferentes elementos vibrantes. O violino, por exemplo, tem as cordas friccionadas por um arco como elemento vibratório primário. Suas cordas estão acopladas ao tampo do instrumento por meio de um cavalete, que transmite e filtra essas vibrações. As vibrações do tampo são transmitidas para o restante do instrumento, incluindo sua caixa de ressonância preenchida por ar. A sonoridade final é uma mistura das vibrações das cordas, filtradas por elementos rígidos e pelas ressonâncias do volume de ar contido no instrumento, portando características de três diferentes grupos instrumentais. Um outro exemplo é dado pela vibração de palhetas de madeira em contato com os lábios dos músicos e acopladas a um tubo, característica de diferentes instrumentos de sopro. (Figura 1)

A complexidade da produção sonora nos instrumentos musicais

"Ações realizadas pelos músicos podem ser captadas por meio do som que produzem e/ou por meio de seus gestos."

As primeiras tentativas de síntese sonora de sons instrumentais não foram bem-sucedidas, e este campo ainda oferece grandes desafios na atualidade. Esses desafios são grandes e variados, e mencionamos aqui três deles. Primeiramente, nenhum instrumento está limitado às vibrações básicas de seu material primário, sejam cordas, colunas de ar, membranas ou sólidos, contando com interações complexas entre seus elementos, como já apresentado no caso do violino e das palhetas. Em segundo lugar, eles devem e precisam ser tocados para produzir som, e isto implica em uma série de escolhas de performance, variáveis com cada um deles. Some-se a isto o fato de que a trajetória energética das vibrações é controlada por ações humanas, que contam com uma variabilidade essencial, mesmo em gestos pontuais. Finalmente, os instrumentos possuem formatos distintos, com diferentes capacidades de difundir espacialmente as vibrações.

Na discussão da relação dos músicos com seus instrumentos o conceito de affordance tem sido bastante utilizado. É um termo criado por J. Gibson em sua abordagem ecológica da percepção: "aquilo que as coisas oferecem, por bem ou por mal". ^[7] Embora não tenhamos uma palavra única para sua tradução, a expressão "possibilidade(s) de ação" oferece uma versão fiel de seu significado original. Erik Clark aplicou este termo à música, não apenas em relação às ações instrumentais, mas também a processos cognitivos. Trazendo mais uma vez o violino como exemplo: o arco usado para friccionar cordas oferece diversas possibilidades para a produção sonora. Sua posição em relação à corda (distância do cavalete, região utilizada na fricção, inclinação no contato), a pressão exercida e a velocidade de deslocamento são controladas pelo músico de modo a obter os sons desejados para uma performance. Essas affordances, ao mesmo tempo, em que limitam as possibilidades (o que, afinal, fará um violino soar como tal) exigem também um domínio técnico especializado para que as diferentes nuances sonoras pretendidas se manifestem.

A evolução das affordances instrumentais, uma espécie de aumentação anterior à era digital, é determinada pela confluência de diversos fatores: exploração dos instrumentos para além de seus limites usuais, modificações trazidas pelos construtores, adaptação aos espaços de performance, emulação dos sons de outros instrumentos, demandas do repertório, novas combinações em grupos, dentre outras.

Ideias em torno ao instrumento musical aumentado

O termo instrumento musical aumentado está diretamente ligado ao uso do conceito de realidade aumentada, que passa ser utilizado a partir da década de 1990 para identificar ambientes nos quais elementos de realidade virtual do tipo imersiva se misturam ao ambiente real, propiciando uma experiência híbrida. Nesta mesma época surgem diversas iniciativas que associam a performance em instrumentos acústicos com componentes da tecnologia digital.

Em 2006, Miranda e Wanderley publicam a seguinte definição:

]]> "Instrumentos aumentados, também chamados de instrumentos estendidos, híbridos ou hiperinstrumentos, são instrumentos musicais acústicos (às vezes elétricos) ampliados pela adição de diversos sensores, proporcionando aos músicos a capacidade de controlar parâmetros sonoros ou musicais adicionais. O instrumento original mantém todas as suas características padrão, no sentido de que continua a produzir os mesmos sons que normalmente produziria, mas com a adição de recursos extras que podem aumentar consideravelmente sua funcionalidade."^[8]

Os autores também apresentam diferentes projetos de instrumentos de corda, sopros e percussão aumentados desenvolvidos até então, dentre os quais o Disklavier (Yamaha), hiperinstrumentos de cordas (MIT), meta-trompetes, meta-saxofones e flautas aumentadas. De um ponto de vista mais atual, e bastante influenciado pela experiência pessoal adquirida neste campo, apresento aqui algumas possibilidades de "recursos extras" que podem contribuir para uma efetiva ampliação da affordance instrumental em diferentes situações de prática musical aumentada.

Ações realizadas pelos músicos podem ser captadas por meio do som que produzem e/ou por meio de seus gestos. A aquisição sonora pode ser feita por microfones ou captadores; a gestual por meio de diferentes sensores acoplados ao instrumento ou ao corpo do músico ou ainda por análise de imagens. Por outro lado, o resultado sonoro da aumentação é normalmente difundido por alto-falantes, encontrando-se também o uso de atuadores - transdutores eletromecânicos que transmitem vibrações ao corpo do instrumento.

A forma mais comum de aumentação é o processamento digital dos sons captados, utilizando-se diferentes efeitos que transformam o som original; no entanto, devido a seu uso extenso e bastante padronizado na produção musical, em muitos casos os instrumentistas não chegam a considerar isto uma nova affordance, já que estes efeitos podem inclusive serem adicionados após a performance. Por outro lado, processamentos simples podem trazer um grande engajamento dos músicos quando acrescentam uma nova característica a seu instrumento, como p. ex. a possibilidade de violões produzirem sons prolongados ou violinos produzirem facilmente sons inarmônicos. A guitarra elétrica ocupa um lugar híbrido nesta questão, pois, ao mesmo tempo que necessita da cadeia eletroacústica para definir suas diferentes sonoridades "originais", também está aberta a explorações que flertam com a ideia de aumentação.

"Trabalhos colaborativos são bastante comuns e gratificantes, integrando expertises instrumentais, artísticas e tecnológicas."

Os processamentos digitais adaptativos, que regulam seus parâmetros a partir de características específicas do som de entrada, já oferecem mais desafios e interatividade para a performance. Nesses casos, o tipo de material sonoro produzido interfere diretamente no resultado musical e, por consequência, na forma de se tocar. Os chamados sistemas musicais interativos, capazes de interpretar de diferentes maneiras os sons que estão sendo tocados e propor diálogos, estendem ainda mais essas possibilidades.

Outras possibilidades e desafios ocorrem quando se trabalha com a multiplicação virtual de um instrumento, seja com o uso de simples atrasos temporais com ou sem repetições (os chamados delays ou loops) ou por meio de complexas transformações sonoras, normalmente acompanhados de alguma difusão espacial. Tocar em conjunto com cópias fidedignas ou alteradas do material musical que acabou de ser tocado é um campo bastante explorado em diversas práticas musicais.

Sensores de diferentes tipos são utilizados em instrumentos aumentados: de força, de distância, acelerômetros, giroscópios, superfícies capacitivas, e outros conversores digitais de variações de energia. O grande desafio neste uso é o mapeamento (e a análise) das informações geradas por estes dispositivos para uma interação efetiva com a performance humana e com os processamentos sonoros em jogo. Boa parte da literatura relativa a novas interfaces para a expressão musical, incluindo-se também os instrumentos puramente digitais, é dedicada a este tema, como demonstram os trabalhos apresentados desde 2001 no evento NIME (New Interfaces for Musical Expression), disponíveis em: https://nime.org/papers/.

O mapeamento e a análise de informações de perfomance podem também comandar processos visuais, sejam de iluminação, de alteração de imagens captadas ao vivo, ou de diferentes tipos de animação, com o uso de protocolos de troca de informações entre sistemas de processamento de som e de imagens. Em práticas coletivas, as possibilidades de intermodulações entre diferentes instrumentos também representam um campo fértil de exploração.

Cada uma dessas possibilidades, em separado ou em combinações, traz desafios consideráveis para a performance, ao propor novas affordances gestuais e musicais. Para exemplificar alguns desses usos, serão apresentados três projetos desenvolvidos em nosso laboratório nos últimos anos.

Alguns exemplos de aplicações interativas

Pandora é um instrumento aumentado desenvolvido desde 2005, caracterizado sucintamente como um tambor (uma caixa-clara) tocado à distância. São utilizados sensores de movimento e um alto-falante dentro da caixa, bem próximo à pele inferior. O instrumento acústico permanece o mesmo, mas os sensores estão em sua quarta versão, devido à rápida obsolescência e desenvolvimento deles. Atualmente estão em uso duas unidades de medição inercial sem fio, capazes de transmitir informações de aceleração linear, velocidade angular e atitude espacial nos três eixos cartesianos. Neste caso, a aumentação se dá em duas frentes principais: uma maior variedade de gestos capazes de gerar sons no instrumento, o que modifica bastante as affordances gestuais de uma performance percussiva, e uma maior diversidade de sonoridades produzidas, seja por síntese ou processamento sonoro comandados pelos gestos. Além de performances solo, este instrumento tem sido explorado em diferentes combinações instrumentais e performáticas. Maiores informações e links para gravações de performances podem ser acessadas em: https://musica.ufmg.br/lapis/projects/pandora/ (Figura 2)

O violão GuiaRT é outro instrumento aumentado desenvolvido no LaPIS a partir de 2011, que consiste em um instrumento com cordas de nylon com captação hexafônica (com um captador piezoelétrico por corda) e um conjunto de ferramentas de análise de áudio em tempo real para transcrição e variação de trechos tocados.^[9] Para a ampliação gestual, utiliza-se um conjunto de pedais e eventualmente sensores de movimento. As possibilidades sonoras oferecem instrumentos virtuais de sonoridade semelhante ao instrumento acústico (atualmente em número de três, que nos parece um bom limite para situações interativas), prolongamento e transformações dos sons. É um instrumento em uso constante em pesquisas acadêmicas voltadas tanto para a análise de performance quanto para a criação interativa. Músicas desenvolvidas especialmente para este instrumento podem ser acessadas em: https://musica.ufmg.br/lapis/projects/guiart/musics/. Mais recentemente desenvolvemos o sistema interativo Obié, um conjunto de ferramentas de análise e processamento de som em tempo real para aplicações interativas, inspirado pelo trabalho de Pierre Schaeffer. Schaeffer foi o criador da música concreta no final dos anos 1940, e dedicou-se intensamente à escuta tecnologicamente mediada e suas implicações cognitivas. Em seus escritos teóricos, definiu sete critérios perceptivos a partir da prática de uma escuta reduzida, que consiste, bem resumidamente, em escutar os sons por si mesmo, se abstraindo de suas fontes e significados. Esses critérios são: massa, dinâmica, timbre harmônico, perfil melódico, perfil de massa, allure e grão (para maiores detalhes ver Schaeffer, 1966^[10]; Freire et al., 2022^[11]).

Inicialmente focado em instrumentos de percussão, as ferramentas do Obié são também aplicadas a outros instrumentos sem necessidade de modificação ou acréscimo de sensores nos instrumentos, bastando uma captação sonora adequada. Pode-se com isto criar um arcabouço sonoro-conceitual básico, compartilhável entre todos os envolvidos. Seu maior desafio é o desenvolvimento de estratégias de interação entre a performance instrumental e sua ampliação sonora, que se renovam com a colaboração de novos músicos e tipos instrumentais. Diferentes performances, individuais e coletivas, explorando diversas dessas ferramentas podem ser vistas em: https://www.youtube.com/@lapisufmg5465.

A prática com instrumentos aumentados se insere em uma rica tradição de performance instrumental, brevemente caracterizada nas seções iniciais deste texto, e ainda está longe de contar com uma ampla difusão em diferentes meios musicais. As razões para tal fato são variadas, combinando fatores culturais, educacionais, tecnológicos e econômicos. A fluidez das configurações propiciadas pela tecnologia digital, ao mesmo tempo, em que amplia as possibilidades de experimentação, dificulta o surgimento de instrumentos aumentados mais estáveis e compartilháveis. Junte-se a isto o número consideravelmente reduzido de apresentações artísticas específicas e a falta de um repertório fixo, que dificultam a formação de um ambiente musical mais amplo.

Do lado dos músicos profissionais, a necessidade de se praticar com configurações tecnológicas normalmente complexas (raramente disponíveis em seus locais de estudo) impede uma exploração mais efetiva e comprometida com as novas possibilidades abertas pela aumentação. A maioria dessas aplicações exige algum domínio de programação, configurando outro fator dificultador. Frente a isto, trabalhos colaborativos são bastante comuns e gratificantes, integrando expertises instrumentais, artísticas e tecnológicas. Em nossa experiência, uma concepção modular capaz de integrar diferentes perfis, instrumentos e tecnologias tem se mostrado mais efetiva do que trabalhar com estruturas e sistemas mais fechados.

Do ponto de vista educacional, seu uso pode ser bastante efetivo, ao possibilitar que pessoas sem muito domínio instrumental possam explorar uma paleta sonora mais variada do que a normalmente oferecida por métodos de iniciação, além de aguçar a percepção sonoro-musical para além de seus elementos básicos. Isto também se aplica a músicos e amadores com uma técnica instrumental intermediária.

Contribuições do aprendizado de máquina e da inteligência artificial vem sendo rapidamente incorporadas a todos os ramos de atividades, e o setor dos instrumentos musicais certamente não é uma exceção. Mas no caso de sua prática e fruição, nem sempre fazer as tarefas de forma mais rápida e fácil significa fazer melhor: a lida das pessoas com seus instrumentos que fazem sons e a apreciação de seus resultados em um tempo próprio, que podemos propriamente chamar de musical, permanece uma característica essencialmente humana.

Agradecimentos

O desenvolvimento desses instrumentos em nosso laboratório conta com apoio financeiro continuado das agências brasileiras CNPq, Fapemig e Capes.

Conflitos de interesse

REFERÊNCIAS

[1] LIBIN, Laurence. Organology. Grove Music Online. Editado por Deane Root. Publicado em 20 de janeiro de 2001. Acessado em 12 de janeiro de 2026. http://www.oxfordmusiconline.com        [ Links ]

[2] HORNBOSTEL, Erich Moritz von e SACHS, Curt. Systematik der Musikinstrumente. Ein Versuch. Zeitschrift für Ethnologie, n. 46, v. 4/5, p. 553–90, 1914.         [ Links ]

[3] GALPIN, Francis William. A Textbook of European Musical Instruments: Their Origin, History and Character. Londres, William & Norgate, 1937. 256 p.         [ Links ]

[4] BROWN, Howard Mayer. Idiophone. Grove Music Online. Editado por Deane Root. Publicado em 20 de janeiro de 2001. Acessado em 12 de janeiro de 2026. http://www.oxfordmusiconline.com.         [ Links ]

[5] BROWN, Howard Mayer. Aerophone. Grove Music Online. Editado por Deane Root. Publicado em 20 de janeiro de 2001. Acessado em 12 de janeiro de 2026. http://www.oxfordmusiconline.com.         [ Links ]

[6] HELLER, Eric Johnson. Why You Hear What You Hear: An Experiential Approach to Sound, Music, and Psychoacoustics. Princeton, Princeton University Press, 2013, 590 p.         [ Links ]

[7] CLARKE, Erik Fillenz. Ways of Listening. An Ecological Approach to the Perception of Musical Meaning. Nova Iorque, Oxford University Press, 2005, 237 p.         [ Links ]

[8] MIRANDA, Eduardo e WANDERLEY, Marcelo. New Digital Musical Instruments: Control and Interaction Beyond the Keyboard. Middletown, A-R Editions, 2006. 295 p.         [ Links ]

[9] FREIRE, Sérgio; ARMONDES, Augusto; SILVA, Rubens. Real-Time Symbolic Transcription and Interactive Transformation Using a Hexaphonic Nylon-String Guitar. Computer Music Journal, n. 45, v. 4, p. 20-39, 2021.         [ Links ]

[10] SCHAEFFER, Pierre. Traité des Objets Musicaux. Paris, Seuil, 1966, 701 p.         [ Links ]

[11] FREIRE, Sérgio; PADOVANI, José Henrique; CAMPOS, Caio. Schaeffer's Solfège, Percussion, Audio Descriptors: Towards an Interactive Musical System. Vórtex Music Journal, v. 10, n. 1, p. 1-20, 2022.         [ Links ]