Realidade virtual e motion capture

No contexto do projeto Dança Fantasmagórica: Metodologias de análise da corporalidade no contexto da performance de dança em Realidade Virtual, tive a oportunidade de experimentar tecnologias de realidade virtual e motion capture, como parte de um estudo sobre a perceção corporal de bailarinos e bailarinas quando interagem com corpos virtuais. A minha colaboração com a equipa de investigação incidiu, sobretudo, no desenvolvimento de um programa de reconhecimento de movimento a partir das 8 ações de Laban.

Partilho um resumo da minha experiência, através das respostas a um conjunto de perguntas feitas pelo José Siopa (bolseiro CICANT-Universidade Lusófona / Faculdade de Ciências), como complemento ao seu projeto final de mestrado.

1. Como foi a experiência geral de dançar na realidade virtual?

Acho que antes de pensar sobre a experiência de dançar, preciso de escrever um pouco sobre a própria experiência da realidade virtual. Já tinha tido anteriormente a oportunidade de colocar uns óculos de RV, no contexto de outros projetos, mas foi sempre um contacto breve. Agora, ainda que o contacto não tenha sido muito prolongado, pelo menos, pude aperceber-me de algumas sensações que essa experiência foi provocando.

Uma nota: só por este parágrafo que escrevi, noto já alguma dificuldade em escolher as palavras quando me quero referir à experiência da RV. Entra-se numa RV? Vive-se uma RV? Contacta-se com uma RV (onde não há propriamente tangibilidade)? Olha-se para uma RV (afinal, o movimento de entrada é colocar uns óculos)?

Como me parece que as diferentes realidades (ainda que todas virtuais) tiveram impactos diferentes em mim, escrevo algumas frases sobre as memórias de dois momentos, intercalando reflexões sobre a experiência de “vivência de RV” com a de movimento/dança, em cada uma delas.

A primeira vez que experienciei RV neste projeto foi no ambiente azul (chão de cimento, paredes translúcidas azuis, água, um planeta) com 3 avatares (humanoides, com pele, cabelo, cara e roupa). Neste caso, a experiência mais impactante foi a de relação com os avatares. Lembro-me de ficar surpreendida por parecerem “muito mais reais” dentro da RV do que no ecrã do computador (único contacto que tinha tido com eles até ao momento). Essa perceção era provocada sobretudo por uma maior sensação de densidade/massa/peso daqueles corpos e, também, pela criação de uma espécie de afeto pelas “personagens” (acentuado, talvez, por saber que representavam pessoas que conhecia). Houve também uma outra experiência impactante: quando o meu corpo “atravessava” o corpo dos avatares, isto é, quando o espaço que o meu corpo ocupava (na “realidade real”) coincidia com o espaço que o corpo do avatar ocupava (na RV). A sensação era ampliada quando essa sobreposição acontecia ao nível do tronco e quando o corpo do avatar ocupava, nem que por instantes, a maior parte do campo de visão representado nos óculos. Instintivamente, fechava os olhos, recolhia os braços para junto do peito e sentia uma espécie de tontura semelhante à vertigem. À medida que me fui habituando a essa sensação, comecei a explorar precisamente a ocupação do corpo do avatar, isto é, fazendo corresponder as partes do meu corpo às partes do corpo do avatar. Ao tentar repetir os mesmos movimentos, eventualmente, percecionava o corpo do avatar como meu. Naturalmente, todas estas sensações dependiam do estímulo visual e, por isso, é importante relembrar que me movia a partir do mote “ver para sentir”. Relativamente à experiência de movimento, lembro-me que estive, maioritariamente, no plano baixo (talvez porque, sem a visão como ponte para a “realidade real”, a relação com o chão significava alguma “segurança”). Precisamente porque era através da visão que acedia à RV, os movimentos de cabeça comandavam os restantes. Para além disso, lembro-me também de fazer alguns movimentos de braços, como se percorressem o espaço à minha frente, sem uma direção específica (penso que, porque não os via, movê-los parecia a única forma de provar que existiam).

O outro momento sobre o qual quero escrever é relativo ao mesmo ambiente azul, mas, desta vez, com apenas 1 avatar (figura de anime), que ocupava o espaço do meu corpo na RV e respondia em tempo real aos meus movimentos. Aqui, a relação entre os dados dos sensores que tinha no corpo e as coordenadas do corpo do avatar nem sempre era perfeita, o que fazia com que as posições e movimentos do corpo do avatar nem sempre correspondessem às posições e movimentos do meu corpo. Ao mesmo tempo (e contrariamente à experiência que tive com os outros avatares), aquela “personagem” não me representava. Apesar destas discrepâncias, fiquei surpreendida quando, ao mover-me na RV, de alguma forma, aquele corpo parecia o meu. Claro que dizer que “parecia o meu” é uma forma de enfatizar a sensação de correspondência dos dois corpos – uma sensação semelhante à de ver o meu corpo mover-se em tempo real através de uma câmara. Penso que seja importante referir que, nesta sessão, tinha uma proposta concreta de movimento: uma pequena sequência de movimentos correspondentes às 8 ações de Laban. Dancei a sequência várias vezes, dentro e fora da RV. Nas primeiras repetições da sequência, a sensação da correspondência de corpos foi mais presente, sobretudo nos movimentos em que os braços ou as pernas estavam no campo de visão (talvez houvesse até uma maior procura da minha parte para que estivessem – e, aqui, relembro que na RV não existe visão periférica e o movimento do globo ocular é quase inútil, sendo tudo compensado com os movimentos da cabeça). No entanto, com as várias repetições, lembro-me que fui investindo menos nessa procura de relação com o corpo do avatar (ou seja, nessa questão de manter o avatar no meu campo de visão). Naturalmente, a propriocepção foi-se sobrepondo à visão e a minha atenção foi-se desviando para os movimentos que fazia, somando à equação o facto de os movimentos terem características espaciais, temporais e dinâmicas muito específicas e de existirem de forma prévia e “independente” da experiência de RV. Ainda sobre esta memória deixo mais duas notas. A primeira é o impacto da RV no equilíbrio, que se torna muito mais instável (uma sensação semelhante à de dançar de olhos fechados). A segunda é que, quando vi as gravações do avatar a dançar a sequência de movimentos (que, na prática, era uma gravação do meu corpo a dançar), fiquei surpreendida com a organicidade dos movimentos do avatar (por serem mais próximos dos de um corpo real a dançar do que previa) mas também com o facto de não me reconhecer naqueles movimentos.

2. O que achaste mais interessante ou desafiador na experiência?

Tenho um particular fascínio pelo estudo do corpo e do movimento do ponto de vista mecânico. Achei muito interessante as possibilidades que o motion capture oferece a esse estudo, mas também a reflexão sobre as suas limitações e condicionantes. Mais uma vez, recorro a exemplos para explicar, na prática, ao que me refiro.

O modelo digital gerado pelo Xsens parece-me uma ótima ferramenta para o estudo da utilização das articulações nos movimentos. Quando estive a analisar os múltiplos ficheiros de captação das variações das ações do Laban, tornavam-se muito mais claras as micro-movimentações que antecediam o movimento propriamente dito, o impacto do movimento nas restantes articulações (quando o movimento era feito por apenas uma parte do corpo) e os trajetos de cada segmento do corpo no espaço. Por outro lado, perdia-se, por exemplo, a noção da ativação muscular ou as movimentações mais pequenas de articulações sem um sensor atribuído.

Ainda relacionado com esta captação das ações de Laban, achei desafiante o processo de repetição dos movimentos de forma simplificada e de variações mais complexas. Nas sessões em que estivemos a gravar os meus movimentos, não conseguia deixar de pensar na leitura que os sensores iriam fazer, ou seja, que dados seriam extraídos (o que afetava a noção de simplificação ou complexificação das ações). E antecipando-me um pouco, se o objetivo desta recolha de dados era o reconhecimento de movimentos em tempo real, geralmente, os movimentos de um bailarino são já uma combinação de ações não necessariamente no modo simplificado (uma complexificação da complexificação, portanto). Por isso, parecia-me que se estava a querer dar um salto muito grande. Mas voltarei a isto na última pergunta.

Toda a experiência de novidade da RV foi também, claro, muito interessante: fez-me ter experiências de movimento diferentes das que já conhecia. De uma forma geral, posso dizer que senti um afastamento do meu próprio corpo, quando era substituído por um outro virtual (experiência caranguejo-eremita: ia adotando diferentes carapaças). Mas, ao mesmo tempo, de aproximação, quando o meu contacto sensorial com a “realidade real” era reduzido e a ponte que me restava era a minha propriocepção. Posso acrescentar que achei a RV uma experiência solitária, quase de isolamento da “realidade real”. Essa perda de relação com o espaço e as pessoas “reais” afetou também a minha forma de me mover, diminuindo a consciência externa de mim mesma – por outras palavras, sentia-me a “dançar como se ninguém estivesse a ver”.

3. Como a realidade virtual se compara à dança no mundo real?

De facto, é uma pergunta a fazer: como se compara a dança que acontece na “realidade real” com a dança que acontece na RV? E em último caso, em que medida é que existe dança na RV?

Acho que fazer uma comparação é procurar pontos em comum. No meu entendimento, os sensores talvez sejam esses pontos transversais. São eles que fazem a tradução dos movimentos reais para os movimentos virtuais. Nesse sentido, tudo o que tenha a ver com os dados com que os sensores trabalham é comparável: as formas que o corpo desenha no espaço, a velocidade com que oscila entre formas, as deslocações que faz, as variações na quantidade de informação, a conjugação destes fatores, e por aí fora. No entanto, há bastantes coisas que “pertencem” à dança que escapam aos sensores, como a individualidade e expressividade do/a bailarino/a, a intenção dos movimentos e a sensibilidade. E quando se compara a dança dos corpos virtuais com a dança dos corpos reais, há uma notória diferença na sua complexidade. Possivelmente, abandonar a comparação pode fazer com que nasça uma “nova dança” virtual, aproveitando as características dessa realidade que não pertencem à “realidade real”. Por outro lado, não fazer uma separação entre dança do mundo real e dança na RV poderá significar uma única dança que se estende por diferentes realidades e é influenciada por ambas.

No que toca à minha experiência no contexto deste projeto, sinto que é difícil compreender qual o espaço de atuação da dança propriamente dita. Sem querer entrar em definições do que é ou não é dança, parece-me que que estive mais focada na pesquisa de movimento sem estar associada a uma linguagem, ou a uma forma de expressão artística como a dança. Se eu puder então transformar esta pergunta na comparação entre a experiência de movimento na RV e no mundo real, parece-me que um dos aspetos que se destaca é o fator novidade, não só dos ambientes em que me colocavam, mas também dos diferentes corpos que me deram. Mergulhar num ambiente novo, ou num corpo novo, despertou em mim a vontade de explorar as suas potencialidades, observar as suas características, testar os seus limites ou simplesmente brincar com esses elementos. Naturalmente, a exploração de movimento era estimulada por esta curiosidade, focando-me mais nas consequências do movimento do que no movimento em si.

Outra diferença que também me parece importante destacar é a instantaneidade com que se muda entre ambientes e corpos (possibilidade de teletransporte), contrariamente às “transições no tempo” do mundo real. Não posso dizer que essas mudanças abruptas tenham causado alguma sensação muito específica ou um impacto muito concreto na minha forma de dançar. Mas faz-me refletir que fui nutrindo afeto por determinados espaços e corpos: para cada novo espaço ou corpo, precisava de um pequeno tempo de adaptação.

4. Sentiste que o modelo do corpo era uma representação precisa do teu corpo real?

Posso escrever sobre diferentes aspetos de precisão. O posicionamento espácio-temporal do modelo, em relação ao do meu corpo, foi sempre bastante preciso. Ainda que, por vezes, os sensores se desregulassem e o modelo não correspondesse exatamente ao posicionamento do meu corpo, a resposta ao meu movimento era sempre imediata e suficientemente precisa para a reconhecer o movimento que tinha feito. No entanto, como referi antes, não senti que o modelo representasse com precisão a especificidade/individualidade do meu movimento (aliás, das gravações que fui vendo dos vários modelos, parece-me que todos têm uma mesma especificidade de movimento que se sobrepõe à dos corpos reais a partir dos quais foram feitas essas gravações).

Depois, posso pensar também na precisão dos modelos relativamente à representação das minhas características físicas. Comparo 3 dos modelos com que fui dançando: a personagem de anime, o “manequim” do Xsens e o corpo composto por figuras geométricas. Entre estes, senti que o manequim me representava com maior precisão. Por um lado, porque o seu esqueleto continha as principais articulações e zonas móveis (pescoço, ombros, cotovelos, pulsos, ancas, joelhos, tornozelos, peito e lombar) e era revestido por formas semelhantes à minha anatomia. Ao corpo geométrico faltavam algumas articulações e as formas de que era composto não correspondiam tão bem às do meu corpo. Por outro lado, a ausência de detalhes físicos do manequim (como cara, roupa ou cor) dava-lhe uma neutralidade que mais facilmente representaria qualquer corpo real. Aqui, a personagem de anime era demasiado específica nestes detalhes (que eram muito distintos dos meus), o que mais facilmente me fazia sentir que não me representava.

5. Como foi dançar com um modelo abstrato em vez de um modelo do corpo?
6. Achaste que o modelo abstrato deu-te mais liberdade de movimento ou expressão?
7. O modelo abstrato inspirou-te a mover de maneiras novas ou diferentes?

Porque o modelo abstrato era menos representativo do que o modelo do corpo (como escrevi antes), a minha experiência de dança esteve um pouco mais desvinculada da RV. Ainda que o modelo abstrato respondesse diretamente ao meu movimento, a qualidade abstrata (que por si só, designa a não representatividade) sobrepôs-se – quase como se a RV trabalhasse no sentido de se fundir com a minha perceção da realidade, mas o modelo abstrato no sentido contrário. Por isso, a experiência de dança era novamente mais próxima da “experiência real”, mais sedimentada nas perceções “habituais” do meu corpo em movimento. Claro, afetada também pelas condicionantes da RV (entre elas, um campo de visão menos alargado e dependente dos movimentos da cabeça, a presença do headset e a perda de equilíbrio).

Ainda assim, ao reviver a memória de dançar com o modelo abstrato, parece-me que os dois corpos se afetam mais um ao outro do que tenho escrito até agora. Ou seja, não me lembro concretamente de ter sentido isto no momento em que dançava, mas agora, no processo de relembrar a experiência, torna-se mais difícil separar as perceções individuais de cada um. Sinto isto muito claramente ao pensar no movimento dos meus braços e das minhas mãos, enquanto via através dos óculos uma parte do volume geométrico que os representava na RV: um vértice pontiagudo e que, por isso, não incluía a mobilidade do meu pulso, da minha mão ou dos meus dedos. Estas características da forma geométrica estão muito presentes na memória do movimento dos meus braços. Não porque me influenciaram a fazer movimentos mais retilíneos e “cortantes” ou a imobilizar mais o meu pulso, a minha mão ou os meus dedos, mas porque, independentemente do movimento que eu me imagine a fazer, ele me parece sempre carregado destas características.

Ao abordar a questão da liberdade do corpo, comecei por pensar que o corpo é tão livre numa experiência de RV como na “realidade real”, uma vez que ele permanece nessa realidade. Ou seja, as condicionantes físicas que definem o grau de liberdade do movimento são as mesmas quer eu ponha ou tire um headset (posso não ter aqui em conta as condicionantes do headset, já que, pensando em toda a amplitude da liberdade de movimento, o seu impacto é mínimo). No entanto, para ponderar as possibilidades que a RV pode trazer ao movimento, é necessário procurar o plano em que a virtualidade se funde com a realidade.

Esta ideia de considerar duas formas de interação entre a realidade real e a virtual fez-me pensar que, nos vários momentos em que experimentei a RV, fui fazendo naturalmente essa oscilação de foco entre o corpo real e o corpo virtual (como fui descrevendo nas respostas anteriores). Portanto, nos momentos em que a minha perceção corporal permaneceu vinculada ao meu corpo real, toda a RV foi um estímulo para o movimento (considerando os momentos de improvisação), como seria qualquer outro elemento do ambiente real. Aqui, a novidade das formas e texturas da RV pode ter, então, trazido novas respostas físicas e expressivas à minha forma de dançar. No entanto, isto não se traduzia numa ampliação do grau de liberdade. Por outro lado, nos momentos em que consegui transportar-me para o corpo virtual (percecioná-lo como meu), independentemente da resposta física, a experiência de movimento era afetada. Este afastamento do corpo real fez-me, de facto, sentir maior liberdade, associada, sobretudo, à sensação de imaterialidade do corpo virtual.

8. Achas que a dança com modelos abstratos pode ser uma forma útil de explorar a identidade ou a emoção?

Acho que, para responder a esta pergunta, precisava de ter explorado mais, em tempo real, a relação dos modelos abstratos com a minha noção de identidade e com os estados emocionais. Para além disso, pelo que tenho escrito, parece-me que a experiência de relação com os corpos virtuais está muito dependente da subjetividade da minha perceção da realidade em geral e do meu corpo em particular. Posto isto, resta-me indagar o que talvez pudesse fazer sentido para mim.

Parece-me que poderia ter sido interessante explorar mais a fundo o impacto de diferentes corpos virtuais na perceção corporal (identidade): representativos ou abstratos, em tamanho real ou noutras escalas, com mais ou menos partes, com diversas formas, com mais ou menos movimento próprio, etc. Talvez uns fossem mais propícios à tal fusão de perceções do que outros.

Depois, relativamente às oscilações emocionais, acho que precisaria de outro contexto para as explorar: menos interrupções na experiência de RV, menos estímulos externos e mais tempo de imersividade, para que pudesse efetivamente ser estimulada nesse sentido.

9. Como foi a experiência de utilizar os sensores low-budget vs o fato completo XSens?

Diria que não senti grande diferença entre os dois modelos de captação. Em termos de conforto, os sensores avulsos ficam mais expostos e, por vezes, impediam determinados movimentos no chão (sobretudo porque tinha medo de os estragar), enquanto que o fato permite que eles fiquem mais protegidos e próximos do corpo. Quanto à captação do posicionamento do meu corpo, os sensores Xsens eram bastante mais precisos e o movimento do corpo virtual era mais contínuo. No entanto, não senti que essa diferença tivesse um impacto preponderante na experiência de RV.

10. Como achas que a tecnologia de realidade virtual e motion capture pode ser melhorada para a dança?

O meu conhecimento sobre realidade virtual e motion capture não é muito extenso. Ao longo das várias sessões, fui tentando perceber o funcionamento das tecnologias utilizadas, mas de forma muito geral. Para me ajudar a responder melhor à pergunta, quero primeiro fazer um resumo do meu entendimento do processo, ainda que eventualmente nem tudo esteja 100% correto.

Para captar o meu movimento, eram utilizados sensores, colocados nos segmentos do meu corpo entre as principais articulações. Os sensores recolhiam dados sobre a sua posição no espaço (sistema de coordenadas cartesiano) a cada instante (cerca de 10 frames por segundo). A partir desses dados, era possível recriar a minha posição no espaço, combinando os dados dos vários sensores. No processo de reconhecimento das 8 ações de Laban, importavam sobretudo as variações das posições dos sensores em relação uns aos outros. Relativamente à RV, acessível através do headset, consistiu quase sempre num espaço plano e infinito (sem paredes), sendo que a zona de ação era limitada de acordo com a sala real, e um modelo de corpo, receptor dos dados dos sensores, e que foi tomando diferentes formas ao longo das várias sessões.

1. Posicionamento dos sensores

Compreendo que, para captar o corpo na sua totalidade sem ter de recorrer a um número gigante de sensores, seja necessário definir pontos estratégicos de “maior importância”. No entanto, fico na dúvida se estas posições são as melhores em todos os casos. Se estiver correta ao achar que, para compensar a falta de dados sobre toda a amplitude do corpo, o computador (?) faz alguns cálculos para conseguir estabelecer a posição dos pontos intermédios, parece-me que, para além do modelo de corpo nunca corresponder a 100% ao corpo que dança, o conjunto de movimentos possíveis do modelo será mais limitado do que o do corpo real (o que até deveria ser o contrário). A meu ver, se o objetivo do motion capture é tentar reproduzir dança virtualmente, apostaria em concentrar o número de sensores por zona do corpo, ainda que isso implicasse danças de apenas pequenas partes do corpo.

Gostava também de notar que um braço é uma parte do corpo conceptualmente delimitada entre o pulso e o ombro, mas que, na prática, o braço não acaba nem no pulso, nem no ombro. Quero com isto dizer que o corpo move-se sempre como um todo. Quando vejo avatares a dançar, parece-me sempre que os membros, o tronco e a cabeça se movem de forma isolada, como se o movimento fosse apenas uma soma de partes. Talvez os modelos de corpo pudessem ter mais isso em conta.

Por fim, deixo também a minha vontade de se criarem sensores para o interior do corpo. O motion capture está muito preocupado com os X, os Y e os Z do corpo, mas há outros gestos (musculares, viscerais, sensoriais, emocionais) que não se medem em coordenadas espaciais e que também dão “forma” ao movimento.

2. Recolha de dados dos sensores

Outra dúvida que tenho relativamente aos sensores, é sobre a forma instantânea e intermitente com que lêem o movimento. Ainda que essa leitura funcione bem para desenhar o movimento do corpo virtual em sincronia espácio-temporal com o do corpo real, parece-me que há uma grande diferença no modo de entender a continuidade. Ou seja, um movimento acontece num intervalo de tempo indivisível, e não em vários instantes. Para além disso, agrupar informação sobre um movimento num instante temporal é ignorar a existência de múltiplos micro-movimentos que o compõem e que o antecedem e precedem (correntes fluidas de energia). Por exemplo, como o braço não acaba no pulso ou no ombro, um movimento do braço é composto por vários movimentos de outras partes do corpo, desfasados temporalmente – que começaram e terminaram antes e depois do movimento.

Nesse sentido, a própria tentativa de caracterizar um movimento (em propostas como as ações de Laban) é também uma forma de fazer um recorte ao movimento, definindo um início e um fim e destacando uma parte do corpo. E por isso, quando se pretende fazer o reconhecimento do movimento através do motion capture, estes fatores deveriam ser tidos também em conta. Começar por movimentos mais simples, com o início, o fim e a agência de determinada parte do corpo mais evidentes, poderia ajudar nesse processo.

3. Realidade virtual

Por fim, no que toca à realidade virtual, creio que poderá ser uma ferramenta importante para a reflexão sobre o corpo – a proprioceção, a sensorialidade e a presença. Aproveitando a virtualidade, poderá ser interessante explorar realidades alternativas enquanto estímulo para o movimento, quer pelos elementos que integram o ambiente, quer através de modelos de corpo mais distantes da figura humana. Para além disso, parece-me que alimentar a RV de elementos que interajam com outros sentidos para além da visão poderá proporcionar uma experiência ainda mais complexa. Gostava também de deixar escrito que acredito que o conhecimento das pessoas que trabalham com o corpo será muito importante para o desenvolvimento da RV e, também, para o estudo do seu impacto.

27 de julho de 2024