V3. musigraphic

V3. musigraphic

Lessa, J. Carlos, L.

UALG - Universidade do Algarve
Forge IT - Forge IT Digital Solutions

Retirado de: http://convergencias.esart.ipcb.pt

RESUMO: Tornar a comunicação da música, expressiva para audiências não habituais é um desafio. Com este propósito, o projecto ”V3. musigraphic”, um projecto de design de comunicação com vertente de videografia interactiva, é integrado, a convite da Universidade do Algarve, no evento “Dias de Inovação e Partilha Pedagógica”. A dimensão pedagógica orienta este projecto que procura materializar visualmente, numa estratégia de complementaridade, alguma da dimensão sonora imaterial, que é a música.

A apresentação/actuação, que agregou piano, violoncelo e videografia interactiva, foi contruída a partir da peça “Le Grand Tango", do compositor Astor Piazzolla (1921 – 1992), (duração aprox. 12 min.), decorreu no Grande Auditório de Gambelas, da Universidade do Algarve, em 23 de Novembro 2017.

Através da  metodologia de investigação através de design (research through design), para a qual concorreram análise documental, observação directa (visão e audição), o projecto de design desenvolveu-se em equipa, formada por designer, músicos e programador. Os resultados possibilitaram tornar visível parte da estrutura musical – foi selecionada a vertente tempo / ritmo / intensidade da acção dos instrumentistas, que revelou as variações de intensidade dos gestos dos músicos, no acto da interacção corpo-instrumento. Esta interacção representou visualmente e em tempo real, o diálogo que, ao longo da peça, se estabelece entre os dois instrumentos. De futuro desenvolver-se-ão outras formas de interação com vista à integração de outros aspectos musicais na visualização expressiva da música.

PALAVRAS CHAVE: Comunicação expressiva da música; Música clássica; Videografia; Sistema Interactivo; Interacção em tempo real

ABSTRACT: To make the communication of music, expressive for non-regulars audiences is a challenge. For this purpose, the project "V3. musigraphic", a communication design project with interactive videography is integrated, at the invitation of the University of the Algarve, in the event "Days of Innovation and Pedagogical Sharing". The pedagogical dimension guides this project, which seeks to materialize visually, as complement, some of the immaterial dimension that is music. The presentation/performance, which combines piano, cello and interactive videography, was built from "Le Grand Tango" music piece, of the composer Astor Piazzolla (1921-1992), (approx. 12 min.), and held in the main auditorium of Gambelas, University of Algarve, in November 23rd 2017. Through the research methodology research through design, for which converged also document analysis, direct observation (vision and hearing), the design project was developed as a team, formed by the designer, programmer and musicians. The results allowed to make visible part of musical structure – it was selected the time/rhythm/intensity of the musician’s gestures, that revealed the intensity variations in body-instrument interaction. This interaction represented visually and in real time, the dialogue that, throughout the performance, developed between the two instruments. In the future we will develop other forms of interaction with a view to the integration of other musical aspects in expressive visualization of music.

KEYWORDS: Music expressive communication; Classic music; Videography; Interactive system; Interaction in real time. 

1. Introdução

A expressividade da música é uma aspecto subjectivo, de difícil caracterização e evidência. Para se explorar essa expressividade, para a tornar evidente ou clara, considera-se que apenas outra forma de expressividade, que não a musical, que lhe poderá servir de eco, poderá ser usada. A relação entre música clássica e uma componente visual/multimédia poderá ocupar este papel, sendo complementar da primeira, e acima de tudo a ela vinculada. A maioria dos espectáculos com dimensão visual/multimédia e música/áudio, valorizam essencialmente os efeitos visuais, com vista a provocar uma sensação de deslumbre no espectador, tornando a música como acessório ou banda sonora. Estes efeitos procuram, essencialmente, o virtuosismo da dimensão gráfica, explorando o potencial técnico e a variedade de efeitos digitais. Com vista a cativar de forma pedagógica, a relação entre música clássica e videografia pode ser explorada, valorizando a música e sua estrutura, tornando mais evidentes aspectos internos da própria música ou sua produção (entendida como a acção dos instrumentistas na execução).

 

2. Enquadramento, objectivos, público-alvo

Num enquadramento mais geral, o presente trabalho represente a continuidade da investigação sobre a importância de cativar públicos não habituais e mais jovens para as salas de concerto, por Lessa (2016), em “Dimensão visual em Música clássica: Potencial para cativar o espectador digital“.

No qual foi focada a preocupação de diversas Orquestras, europeias e americanas, de procurar cativar o público na casa dos 20 anos (Mielonen, 2003), com diferentes estratégias, nomeadamente incorporando uma dimensão visual/tecnológica (Liem et al., 2015; Woodcock, 2012).

Diversos investigadores apontam para o aumento da idade média do público em actuações de música clássica: 37.7 em 1980; 49.5 em 1998/1999; 56,2 em 2003, e um crescimento de um mínimo de 10 anos de idade, entre 2001 e 2011 (Hamann apud Clouse, 2016). O mesmo estudo indica que na direcção oposta, detecta-se um intenso aumento de público nas actuações de música pop e rock (op. cit.).

Em termos específicos, o enquadramento é o convite da Reitoria e Agrupamento dos Conselhos Pedagógicos da Universidade do Algarve, para apresentação de projecto que revele inovação e dimensão pedagógica, no evento “Dias da inovação e partilha pedagógica” de 22 a 24 de Novembro de 2017. Neste contexto, o público se pretende focar situa-se entre os 18-25 anos idade. São identificados por Watkins (2009) e Palfrey e Gasser (2008) como nativos digitais. Para este grupo e segundo os mesmo autores, experiências prazerosas são as que envolvem: a presença de tecnologia; a presença de entretenimento; a partilha de informação na esfera social; manterem-se, continuamente, em rede - em estruturas socializantes.

Expressão musical é habitualmente identificado como “o poder de comunicação da música” (Hansen et al., 2014). Para os amantes da música clássica, a sensibilidade a esta expressão vai sendo desenvolvida e apurada. No entanto, para plateias não fidelizadas, nomeadamente mais jovens que se identificam com outros gostos musicais, apresenta-se como uma barreira difícil de transpor.

Assim, os objectivos deste projecto, desenhado para esse efeito são: (i) expor o público jovem universitário, habitualmente não presente a concertos de música clássica (solicitação veiculada no convite), a um evento dessa natureza; (ii) valorizar a capacidade de comunicação expressiva da música; (iii) valorizar a relação do músico com o seu instrumento no decorrer da execução musical (valorizar a dimensão corporal do fazer a música); (iv) aportar uma dimensão pedagógica, procurando tornar visível aspectos da estrutura musical – possibilitar que, além de audível, a música pudesse comportar também uma vertente visível, que lhe estivesse intrinsecamente ligada.

 

3. Metodologia

O processo de investigação desenvolveu-se numa perspectiva qualitativa, aplicando-se uma metodologia de investigação através do design (research through design) que envolve uma abordagem de investigação baseada na prática (practice-based research approach). De acordo com Schneider (2007), esta é uma estratégia dialética que envolve investigação através da prática do design. Para o desenvolvimento do processo, que de seguida se descreverá, concorreram dados retirados através de leituras orientadas, de análise documental, por observação directa, de análise de recolhas de imagem, de áudio e vídeo.

 

4. Aspectos musicais

Segundo Müller (2015), a análise da estrutura musical envolve três ordens de elementos: os aspectos musicais; os princípios de segmentação; e a representação.

A segmentação é o processo de divisão em parcelas, de forma a “simplificar a representação em algo que é mais simples e significativo para análise, que o documentos original”. No caso da música, significa estabelecer secções temporais, ou seja, intervalos de tempo contínuo com um início e um fim determinados. (Müller, 2015) A representação é focada por este autor, como a dimensão sonora, a notação musical, e MIDI (que representa a saída de conversão de input numérico, no que se pretender ter como output). No projecto em questão, adaptaremos a perspectiva do autor: em vez de MIDI integrarmos a videografia interactiva, também ela a servir o propósito de output para um input numérico.

Em relação aos aspectos musicais, podemos caracterizá-los como (Hansen et al., 2014):

  • Timbre – é o que caracteriza a qualidade do tom do instrumento;
  • Tempo e Ritmo –  o tempo é duração que estabelece se o som é longo ou curto; este conceito está associado ao ritmo, pois a combinação de diferentes durações em intervalos de tempo regulares, é o ritmo;
  • Melodia – identificada como uma frequência de sons em intervalos irregulares e avança por entre o ritmo; habitualmente é o que se destaca na música, o solo de um instrumento ou cantor.
  • Harmonia – é um conceito sensorial; uma relação entre sons simultâneos, ou acordes, e que pode ser consonante ou dissonante;
  • Ainda Textura, Dinâmica e Forma.

Outros autores identificam ainda:

  • Intensidade –  Ou sonoridade identificada como a energia do som; se o som é fraco ou de baixa intensidade ou se o som é forte ou de alta intensidade;
  • Altura – Distinção entre sons agudos ou graves;
  • Densidade – define a concentração maior ou menor do número de sons simultâneos; um conjunto de timbres simultâneos produz uma maior densidade sonora que apenas um.

 

5. A importância do corpo e a emoção

O conceito do “fazer” música, que surge do encontro entre corpo e instrumento é central nesta investigação: é do corpo que nasce o gesto que, além de técnico (para produzir uma determinada nota com uma determinada característica, num instrumento), carrega um valor emocional — aquele que o intérprete expressa no momento da interpretação.

De acordo com Damásio (1996), “o corpo é o palco das emoções”: é através dele que elas se expressam. Seja da entoação de voz, da posição do corpo, da expressão facial, dos gestos, entre outros, as emoções revelam-se através de aspectos psico-fisiológicos (que têm participação das dimensão psicológica e da fisiológica). Assim, o uso das mãos, dos braços, a posição do corpo dos instrumentistas, estão intimamente relacionados com as acções objectivas e necessárias para produzir os sons. Mas estão também presentes aspectos de subjectividade, que variam de intérprete para intérprete, como a expressão da música em cada um. Segundo Damásio (1996), o sentimento é a vertente interior da emoção: a emoção é a acção de expressar uma variação para o exterior (leia-se exterior do corpo); e o sentimento, o que se passa no interior da mente, associado a essa emoção.

Ou seja, poderemos sustentar que o modo como os instrumentistas sentem a música que tocam é, num grau maior ou menos, exteriorizado, através de emoção que transparece na totalidade da sua performance física (expressões faciais, postura corporal, gestos e movimentos do corpo, etc.)

 

6. Processo de trabalho

Após estabelecidos os objectivos, a identificação do público-alvo, os princípios básicos a ter em conta (retirados da análise de leituras orientadas e de documentação audiovisual, iniciou-se o processo de trabalho que envolveu a investigadora e designer Joana Lessa, os músicos Raquel Correia (piano) e Miguel Rocha (violoncelo) e o programador Luís Carlos.

Iniciou-se o trabalho pela audição atenta da peça “Le Grand Tango", do compositor Astor Piazzolla (1921 – 1992), numa gravação previamente fornecida pelos músicos.

Do trabalho com a equipa de músicos, foram realizadas rondas de observação e audição atenta e orientada da peça em duas etapas: (i) primeiro de forma isolada – uma sessão com cada instrumentista, na qual executava a sua parte da peça, comentando-a em simultâneo; (ii) de seguida, em sessões em conjunto. Foram efetuadas recolhas de áudio, captura de imagem e vídeo nestas sessões, de forma a documentar o processo. Na primeira etapa (ver Fig.1 e 2) foi possível aferir, no decorrer da execução por cada músico (isoladamente), a evidência de segmentos na peça: o modo como cada músico desenvolve a sua relação emocional com a peça – focando os aspectos que são para si importantes; os momentos, na peça, que referencia e seu envolvimento nos mesmos. 

 

Fig. 1 – Sessão Piano: Imagens captadas nas sessões com o músico, de observação e audição orientada.

 

Fig. 2 – Sessão Violoncelo: Imagens captadas nas sessões com o músico, de observação e audição orientada.

 

Na segunda etapa (ver Fig.3), já a perspectiva integrada na investigação, face à totalidade da peça, era distinta, pois integrava o carácter específico de cada músico e da presença da sua vertente num todo que agora se apresentava.

Tornou-se evidente a importância do diálogo que se estabelecia entre as duas “vozes” dos instrumentos: momentos de valorização de uma sobre a outra; momentos de pôr em comum; momento de antagonismo; momentos de monólogo. Individualmente, verificou-se que a evolução de cada uma dessas vozes se estabelecia em momentos de crescendo, de calmia, de agressividade, de desalento, de alegria, aspectos salientados pelos músicos e no qual se conseguiram identificar variações de: intensidade, altura, ritmo e densidade do “discurso” de cada instrumento. A diversidade das variações de cada instrumento, ao longo     da peça, estabelece uma elevada complexidade estrutural.

 

Fig. 3 – Sessão Conjunta: Imagens captadas nas sessões com os músicos, de observação e audição orientada.

 

Do diálogo contínuo entre design e programação foi-se aferindo a exequibilidade dos aspectos técnicos que possibilitariam a interacção em tempo real, para traduzir variações no diálogo entre os dois instrumentos, ao longo da peça.

As possibilidade de recolha de dados e selecção de sensores, foi decidida, integrando no processo de desenvolvimento do projecto, tendo em vista o desenho de um produto de comunicação para o público-alvo identificado e o alcance de uma solução que se desenvolve no processo e enquanto processo, sendo este determinante na investigação.

A investigação-acção estabelece-se aqui como o desenvolvimento do projecto, que vai evoluindo até ao momento da actuação, com a apresentação do resultado prático alcançado.

Foram estabelecidas duas sessões: uma de análise das possibilidade de recolha de dados, a partir da actuação dos instrumentistas; outra de testes de funcionamento, para aferir efectivas variações perante as alterações em tempo real. Perante a complexidade verificada, a interacção seleccionada foi o movimento distinto das mãos, gestos e corpo, justificada pela importância deste no “fazer” a música. Assim, o impacto da expressão do corpo dos instrumentistas tem impacto na expressão visual da música. Aferiu-se que a recolha de imagem (webcam) em tempo real, com análise algorítmica permitiria a obtenção de resultados.

 

7. Aspectos e princípios a integrar

A expressão musical da música é um aspecto com dimensão de subjectividade.

Quando se trata de uma transposição de uma dimensão sonora e não visual, neste caso a música, para uma dimensão visual, considera-se que a estratégia que assiste a esta passagem se deve alicerçar, essencialmente, em bases evocativas e metafóricas que tiram partido de referências da memória colectiva, da individual e da experiência do indivíduo (sendo naturalmente estas últimas incontroláveis para o designer responsável pela dimensão visual).

Na dimensão do gesto, presente na execução, esta perspectiva também se aplica. De acordo com Fergunson (1969), a metáfora musical abrange uma “transferência de padrões de comportamento do som ao domínio dos padrões de comportamento do corpo humano”. Neste contexto, segundo o autor, movimento e tensão são a base da expressão musical.

Com vista a explorar a movimento e tensão, e estabelecendo uma ponte este a dimensão visual e a do gesto, estabeleceu-se que a presença de videografia associada à música, poderia evidenciar a dimensão expressiva da peça musical em questão. Assim, e indo de encontro à dimensão pedagógica, o trabalho em videografia apresentar-se-ia como um media complementar à música, com vista a ampliar aspectos de natureza expressiva.

 

Estabeleceu-se um conjunto de aspectos técnicos, promotores de uma experiência mais envolvente da parte do espectador da actuação, a integrar (Lessa, 2016):

  • Criar penumbra na sala de concertos onde decorre a actuação, criando uma foco de atenção no palco onde “decorre a acção” – o efeito de “suspensão temporária da descrença” (temporary suspension of disbelief) – o espectador aceita, temporária e intencionalmente nos princípios de uma história ficcionada) (Williams, 2016; Michelle, 2007);
  • Apresentar materiais numa escala e posição que ultrapassa a do espectador – valor do grande e por cima do espectador, produzindo a sensação de poder/grandiosidade dos conteúdos e, consequentemente, de maior impacto sobre o espectador;
  • Integração de vibração cromática – intensidade e contraste cromáticos;
  • Integração de variação de intensidade de luz – contraste lumínico;
  • Incorporação de movimento nos elementos gráficos – formas em movimento.

 

Ainda, obedecer a princípios que promovam o envolvimento do espectador, não retirando o protagonismo à música, de acordo com Lessa (2016):

  • “A valorização de narrativas visuais abertas, potenciadoras de atribuição de significados individuais pelos espectadores (Stevens, 2009);
  • O recurso a linguagens e tecnologias digitais, que valorizem a dimensão musical e não a encubram, promovendo e suportando os conteúdos e não os esvaziando de significado;
  • A utilização dessas tecnologia sujeitas às linguagens visuais e à dimensão conceptual e não o oposto, de forma a que o resultado visual não seja apenas um efeito tecnológico;
  • consequentemente, a procura de um equilíbrio entre a o valor estético e o valor de entretenimento, não pesando o último sobre o primeiro.”

 

8. Dimensão conceptual e formal

No desenho conceptual observaram-se os princípios anteriormente definidos, considerando que a vertente narrativa não seria adoptada, mas aspectos evocativos que situariam o espectador no contexto, neste caso no ambiente do tango. Assim estabeleceu-se dois níveis formais (ver Fig.7): um fundo, no qual este contexto era estabelecido, evocando a dança tango; sobre o nível dos instrumentos se estrutura. O fundo apresenta um vídeo (ver Fig.4), resultante de uma fusão de captura vídeo, de bailarinos de tango, num efeito de movimento em contínuo, criando um ambiente, não uma descrição de acção.

 

Fig. 4 – Quatro frames do vídeo de fundo – fusão de imagens evocativas dos movimentos de uma dança de tango.

 

Os instrumentos, piano e violoncelo, são representados, respectivamente, por duas barras no centro da composição (ver Fig.5 e 6). Estas barras são compostas por 3 vídeos distintos que apresentam três visões ou perspectivas das mãos dos executantes, dando, assim, enfoque no gestos que produzem música (a relação do corpo com o instrumento) (ver Fig.5 e 6). De igual modo no bailado, são as pernas e pés os elementos corporais fundamentais para a execução, como tal é-lhe dado enfoque. Estabelece-se também, desta forma, um contrastes entre os gestos fundamentais na produção da acção – pés e mãos (ver Fig.4).

 

Fig. 5 – Composição de três vídeos selecionados, que retratam três visões distintas do teclado e mãos.

 

Fig. 6 – Composição de três vídeos selecionados, que retratam três visões focando diferentes áreas violoncelo.

 

Fig. 7 — Composição final do ecrã: montagem das áreas associadas a cada instrumento (barras de vídeos), sobre um fundo que define o contexto da temática da música – o tango.

 

A cor tem especial dimensão, pois foi selecionado como valor que estabelece a variação de intensidade: o fundo, de menor importância e qua constitui uma base, monocromático; os instrumentos, em diálogo, variam, em tempo real, segundo um código estabelecido. O código cromático estabelece uma gradual variação entre: a ausência de intensidade, valor próximo cromático zero; a baixa intensidade, entre o zero e o 100% azul – este corresponde a intensidade moderada; e a alta intensidade, o 100% de vermelho (ver Fig.12). Sendo importante evidenciar o diálogo entre os instrumentos, numa espécie de dança (que o tango também é), mas neste caso cromática.

Pretende-se que o resultado final, a apresentação do projecto “V3. musigraphic”, em palco (ver Fig. 13), crie um intimismo propício ao envolvimento do espectador, focando a sua atenção nos executantes (e particularmente na área de movimentos das mãos) e na projecção de videografia, exibida atrás deles.

 

9. Sistema Interativo

O sistema interativo foi constituído por três partes diferentes: i) uma câmara de vídeo por USB (webcam) com o objetivo de captação das imagens de cada um dos instrumentos de música, ii) um computador com o programa de extração das imagens, análise e computação de resultados e iii) um projetor de vídeo, direcionado para uma tela de projeção, colocada atrás e no alto do palco, que projetou os efeitos e resultado final.

 

9.1 Câmaras de Vídeo

Para conseguir a melhor extração de imagem e consequentemente os melhores resultados possíveis, posicionou-se estrategicamente ambas as câmaras no palco. No piano, para evitar interrupções de imagem ou obstrução parcial dos movimentos da pianista que poderiam ser causados pelo virador de partituras, posicionou-se a câmara ao seu lado esquerdo como se pode observar na Fig. 9(a). Nesta posição foi possível captar as mãos da pianista em qualquer parte do teclado e sem obstruções. No violoncelo, posicionou-se a câmara ligeiramente ao lado esquerdo das páginas da partitura, que por sua vez se encontra imediatamente na sua frente. Nesta posição, a câmara conseguiu captar todos os movimentos da mão principal do violoncelista inclusive o arco, como se pode observar na Fig.10 (a).

 

Fig. 9 — Piano

Legenda: (da esq.ª para dir.ª e de cima para baixo): a) imagem original; b) imagem com região de interesse;    c) imagem preto e branco; d) imagem com filtro gaussiano; e) imagem anterior com filtro gaussiano;  f) subtração entre imagem original e anterior; g) imagem com threshold binário; h) imagem final com região de interesse aplicada.

 

Fig. 10 —Violoncelo

Legenda: (da esq.ª para dir.ª e de cima para baixo): a) imagem original; b) imagem com região de interesse; c) imagem preto e branco; d) imagem com filtro gaussiano; e) imagem anterior com filtro gaussiano;   f) subtração entre imagem original e anterior; g) imagem com threshold binário; h) imagem final com região de interesse aplicada.
 
 

9.2 Sistema de extração e computação de imagens

O computador foi colocado em backstage e serviu de interface entre as imagens das câmaras (input) e $o resultado no projetor (output). Para se conseguir traduzir a intensidade do movimento de cada um dos músicos em resultados nas imagens do projetor procedeu-se a uma análise de computação visual às imagens captadas e em tempo real pelas câmaras de vídeo. O processo de captação de imagens, análise e cálculo de resultados foram os mesmos utilizados para os dois instrumentos/músicos e dividem-se numa sequência de várias etapas como indicadas pela Fig.11. 
O processo é iniciado com a captação das imagens pelas câmaras Ft (x,y), indicadas pelas Fig.9 (a) e 10 (a). Através das imagens iniciais é possível definir as regiões de interesse (RDI). Nesta etapa, é necessário definir a região de interesse dentro das imagens captadas pelas câmaras de forma a garantir que a análise e calculo dos resultados se faça sobre uma região da imagem desobstruída de artefactos e que garantidamente contenham apenas a área que contenha os movimentos dos músicos. Estas áreas de interesse podem ser observadas pelos 4 pontos vermelhos nas Fig.9 (b) e 10 (b). Estes 4 pontos definem a área retangular da região de interesse.

 

Fig. 11 — Etapas do processo de extração, computação de imagens e resultados.

 

De seguida, converteu-se a imagem a preto e branco:  e aplicou-se um filtro gaussiano (Russ, 2011), com  como se pode observar pelas imagens das Fig.9 (c,d) e 10 (c,d), respetivamente. Este filtro é essencial de forma a reduzir a propagação do ruído das imagens captadas no resultado final. Para detetar o movimento em cada conjunto de imagens captadas, é calculada a subtração absoluta entre a imagem atual e a anterior [Fig.9 (d,e) e 10 (d,e)], ambas com o filtro gaussiano aplicado, resultando  e apresentada pela Fig.9 (f) e 10 (f). Esta imagem possui valores em gradiente nas zonas onde foram detetadas diferenças de movimento entre as duas imagens.

Para eliminar ruídos e imperfeições, foi aplicado um threshold binário à imagem 

No resultado do threshold, Fig.9 (g) e 10 (g), pode-se verificar um aumento da intensidade de cor branca nas regiões onde a imagem do gradiente  possuía valores mais altos e eliminação completa das regiões onde a intensidade era muito baixa (difícil percepção a olho nu).

A imagem  indicada pelas Fig. 9 (h) e 10 (h), representa a imagem do threshold apenas com região de interesse RDI e contem as zonas e quantidade em pixéis onde foi detetado movimento. É a partir desta imagem base que se baseia o restante algoritmo de extração dos resultados. A intensidade do movimento é proporcional à quantidade de pixéis brancos nesta imagem.

 

9.3 Cálculo quantidade movimento

Para mapear a intensidade de movimento de cada músico para um valor decimal que se possa facilmente traduzir em conteúdos digitais e interativos, mapeou-se os níveis de quantidade de pixéis brancos da imagem  para um valor  

 

Pn é o valor normalizado de quantidade de pixéis brancos, NPB o Número de Pixéis Brancos, NP o Número de Pixéis de uma imagem e Sen a sensibilidade. O valor da sensibilidade pode variar entre 0.0 e 10.0, sendo que valores mais baixos ou mais altos produzem menores e maiores variações de cores respetivamente. Através desta fórmula, mapeou-se a quantidade do movimento para valores entre 0.0 a 1000.0.
 
 

4.4.4. Cálculo quantidade de cor e resultados no projetor

Cada músico possuía uma área no vídeo de projeção dedicada a ele e através da intensidade do seu movimento, o seu vídeo respetivo ganhava ou perdia cores entre transparentes, azuis e avermelhadas. Sem movimento considerava-se uma cor totalmente transparente ou inexistente, com intensidade de movimentos moderadas o seu vídeo ganhava gradientes de cores azuladas e com muita intensidade ganhava cores avermelhadas.
Para traduzir a intensidade de para essas intensidades de cor, mapeou-se os valores de Pn  para uma intensidade de cor através das seguintes formulas lineares:

 

I1, I2, I3, representam os valores Pn entre os quais a intensidade do gradiente de cor tem que variar linearmente entre 3 zonas de valores mínima-máxima-mínima intensidade e 01 e 02, os valores de mínima e máxima intensidade de cor.

Para o cálculo de intensidade das cores azuis são usados os valores empiricamente calculados de I1 = 5,12 = 40, I2, I3= 70,01 = 0 e 02 = 255 e para o calculo das intensidades vermelhas são usados os valores I1 = 40,I2 = 100, I3 = 100, O1 = 0 e O2 = 255.

Desta forma, a intensidade do movimento de cada um dos músicos modifica diretamente o gradiente das cores dos vídeos do projetor. Na Fig.12 (a,b,c,d,e) pode-se observar alguns exemplos entre diversas variações de cores.

 

Fig. 12 Imagens Projetor – composição final

Legenda: (da esq.ª para dir.ª e de cima para baixo): a) Pouca intensidade em ambos instrumentos; b) muita intensidade no piano; c) muita intensidade no violoncelo; d) intensidade moderada em ambos instrumentos; e) muita intensidade em ambos instrumentos
 

 

Fig. 13 – Duas imagens da apresentação do projecto “V3”, no Grande Auditório Gambelas, UAlg, 23 Novembro 2017.

 

5. Conclusões e trabalho futuro

Considera-se que, a partir dos resultados obtidos, a dimensão visual, com o uso da videografia interactiva, acrescenta valor expressivo à fruição da peça musical. Do mesmo modo as estratégias adoptadas, permitem revelar o diálogo que se estabelece, ao logo da execução da peça, entre os dois instrumentos e instrumentistas, através da execução das suas partes específicas da música. A escolha da dimensão intensidade do gesto dos músicos na execução da peça, realizou-se de acordo com os aspectos técnicos possíveis à data, e proporcionou um efeito de visualização, em tempo real, do diálogo musical. Este efeito resultou numa dimensão pedagógica que o projecto se propôs proporcionar.

Para um público não habitual, entende-se que esta abordagem promoverá uma melhor recepção da música clássica em concerto, tornando visual a estrutura de intensidade dos movimentos  dos músicos que revela variações de intensidade da música.

A continuação deste trabalho prevê, a aplicação dos mesmo princípios à execução de outras peças de música clássica em concerto, procurando-se, de futuro, explorar a integração de outros sensores que potenciarão mais tipos de inputs e, dessa forma também, proporcionarão explorar mais a fundo a expressão gestual dos instrumentistas em tempo real. Nomeadamente procurando captar: a activação de músculos específicos e da sua tensão e relaxamento; a posição no espaço do movimento dos braços, distinguindo entre os ambos os braços; o ritmo do corpo (em variações mais subtis), entre outros.

                                                                                             

6. Agradecimentos

Agradece-se ao grupo de músicos, Raquel Correia (piano) e Miguel Rocha (violoncelo), pela dedicada participação neste projecto. Ainda à Reitoria e Agrupamento dos Conselhos Pedagógicos da UAlg, pelo convite que proporcionou o contexto para o desenvolvimento deste projecto e ao Centro de Investigação CIAUD – Universidade de Lisboa.

Este artigo foi apresentado no 6º EIMAD – Encontro de Investigação em Música, Arte e Design e publicado exclusivamente na Convergences.

 

7. Bibliografia

Clouse, C. M. (2016). Revitalizing Classical Music Interest and Concert Attendance: Why Today's Youth Are Deterred From Classical Music and Why Symphony Orchestras and Businesses Need to Get Involved. Senior Honors Projects. Artigo 143.

Damásio, A. R. (1994) O erro de Descartes: Emoção, razão e cérebro humano, Mem Martins: Europa-América.

Ferguson, D. N.(1960) Music as Metaphor: The elements of expression. Westport: Greenwood Press.

Frayling, C. (1993–94): Research in Art and Design. Royal College of Art Research papers, vol 1, nr. 1. London: Royal College of Art.

Gonçalves, M. R. (2010). Estádios de desenvolvimentos da apreciação musical: O que os interpretes valorizam. Dissertação Mestrado Música para o Ensino Vocacional, DECA, UA.

Hansen, B., Whitehouse, D. & Silverman, C. (2014). Introduction to Music Appreciation. ePress Course Materials. 3. Available on-line: http://digitalcommons.apus.edu/epresscoursematerials/3 [Acedido 20 Novembro 2017]

Jonas, W. (2007). Design Research and its Meaning to the Methodological Development of the Discipline. In R. Michel (Ed.), Design Research Now (pp. 187-206). Basel: Birkhäuser.

Liem, C. C., Gómez, E. e Schedl, M. (2015). PHENICX: Innovating the Classical Music Experience. In Proceedings of the IEEE International Conference on Multimedia and Expo (ICME), Torino, Itália, Junho – Julho 2015.

Lin, P.Y. (2008). Challenges Of Developing Audiences For Symphony Orchestras In Twenty-First Century. Tese de Mestrado, University of Akron. Disponível em: http://www.openthesis.org/documents/Challenges-Developing-Audiences-Symphony-Orchestras-546756.html. [Consultado em 20 Novembro 2017].

Michelle, C. (2007). Modes of reception: A consolidated analytical framework, The Communication Review, 10:3, pp. 181–222.

Mielonen, H. (2003). Attracting new audiences: Attitudes and experiences in attending classical music concert of students in their twenties. Tese de Mestrado. Sibelius Academy / University of Arts, Helsínquia, Finlândia.

Müller, M.(2015). Fundamentals of Music Processing: Audio, Analysis, Algorithms, Applications. New York: Springer.

Norman, D. (2004). Emotional Design. New York: Basic Books.

Palfrey, J. & Gasser, U. (2008). Born Digital: Understanding the First Generation of Digital Natives. New York: Basic Books.

Russ, J.C. (2011). The Image Processing Handbook, 6th Ed.. New York: CRC Press Inc.

Schneider, B. (2007). Design as Practice, Science and Research. In R. Michel (Ed.), Design Research Now (pp. 207-218). Basel: Birkhäuser.

Stevens, Meghan (2009). Music and Image in Concert. Sidney: Music & Media.

Watkins, C. (2009). The Young and the Digital: What the Migration to Social Network Sites, Games, and Anytime, Anywhere Media Means for Our Future. Boston: Beacon Press.

William, J.M. (2016). Perspective-Taking and Empathic Responses to Historical Film. In Cognitive Approaches to German Historical Film: Seeing is Not Believing. pp 111-169. New York: Springer

Woodcock, Tony (2012). Why Music Is Important: The Orchestra Crisis.  http://www.huffingtonpost.com/tony-woodcock/orchestra-music-crisis_b_2010490.html. [Acedido 20 Novembro 2017]

Reference According to APA Style, 5th edition:
Lessa, J. Carlos, L. ; (2018) V3. musigraphic. Convergências - Revista de Investigação e Ensino das Artes , VOL XI (21) Retrieved from journal URL: http://convergencias.ipcb.pt