18
Jan 12
18
Jan 12

Radiohead e 3D motion capture system

Radiohead "House of Cards" from Justin Glorieux on Vimeo.

 

Para quem aprecia (adora Radiohead como eu) e estuda/ investiga/ tem interesse por sistemas de captura de movimento 3D (motion capture systems 3D) fica com interesse em perceber qual é a ligação entre estas duas temáticas, à primeira vista tão diferentes, mas com uma análise mais detalhada tão próximos.

O vídeoclip da música "House of  Cards" da banda Radiohead foi desenvolvido tendo por base a captura em 3D do cantor Tom Yorke. Este sistema desenvolvido em 2008 efetua a projeção de padrões no cenário, que são visíveis a olho nu. Este sistema de captura de imagens em profundidade (diferente do utilizado em sensores como o kinect) permite recolher imagens com uma resolução boa.


 "A visible structured light approach was famously used as the basics for Radiohead's breakthrough 2008 cameraless music video, "House of Cards", from the album In Rainbows. With the aid of geometric Informatics custom system, close-up recordings of singer Tom Yorke's face were captured as point cloud data, wich allowed the "synthetic camera" viewpoints to be directed in postproduction. The structured light approach was ideal for capturing the singer's detail facial expressions since this technique can be used to capture subjects within a couple of feet." (Keane S, Hall J, Perry P. , 2012)

 

 

Visible Structured light setup (Keane S, Hall J, Perry P. , 2012)


O código utilizado para o desenvolvimento do projecto de reconhecimento facial do Tom Yorke está disponível e acessível para o público no repositório de código da google.

 Este é um projeto que contempla inovação tecnologica e música num mesmo projeto.

 

Mais informações:

Exploração e visualização dos elementos em 3D

Recursos utilizados no desenvolvimento do reconhecimento 3D

 

Até depois!

 

 

publicado por paulamargarida às 17:13 | comentar
14
Jan 12

Sensores de movimento e aspetos a acautelar no desenvolvimento de aplicações com dispositivos de captura de movimento

O aparecimento dos dispositivos de controlo de movimento (motion controllers) possibilitou e facilitou a utilização, não só nos jogos, mas também na construção de aplicações noutras áreas. 

Sensores são dispositivos que convertem um sinal físico num sinal elétrico passível de ser manipulado no computador, ou seja o sensor deteta modificações no ambiente. As alterações no ambiente podem ser de várias naturezas, por isso existem vários tipos de sensores, e o tipo de sensores mais comuns, no âmbito das interfaces controladas por gestos são sensores de proximidade, luz, pressão, som, movimento, orientação e tilt (inclinação, ângulo).

A investigação da interação humano-computador na área dos sensores pretende perceber como estes podem promover e melhorar a interação, na elaboração de novos dispositivos de entrada, ou no desenvolvimento de aplicações com comportamentos mais humanos. 

No decorrer do desenvolvimento aplicações com sistemas de reconhecimento de gestos existe um conjunto aspetos a acautelar no que diz respeito à utilização de sensores. Os sensores apresentam características muito específicas, pelo que é importante averiguar potenciais problemas associados. 

 

Uma das primeiras recomendações apresentadas por Dan Saffer diz respeito à escolha do tipo de sensor que se pretende para a aplicação. O tipo de sensor, ou sensores no caso de haver uma conjugação de vários, determina o tipo de interação gestual que se pode ter na aplicação. Esta questão está relacionada com os vários aspetos técnicos presentes nos vários sensores, como é o caso da distância limite que o sensor consegue detetar.

A necessidade de calibrar o sensor ao nível da sensibilidade é outro aspeto importante no desenvolvimento de aplicações controladas por gestos. A calibração do sensor irá evitar que haja um sistema demasiado sensível e que responde sem o utilizador o desejar, ou de ter um sistema que não responde quando solicitado às interações do utilizador. (Saffer, 2009)
Os sensores presentes nos nas aplicações controladas por gestos são muitas vezes sensíveis à luz ambiente, pelo que é necessário apresentar a aplicação muitas vezes num ambiente estável. A mesma situação acontece quando o som ambiente é variável, no caso de haver comunicação por voz pode haver interferência. 
 

Outro conselho está relacionado com a prevenção de erros nas interfaces controladas por gestos. Uma das formas sugeridas de evitar erros, é a confirmação de determinadas ações realizadas pelo utilizador (sejam intencionais ou acidentais).

O feedback é uma componente importante a ter em consideração no desenvolvimento de aplicações interativas, mas deve ser ainda mais potenciado quando existe um sistema de reconhecimento de movimentos. No caso de ocorrer um erro, uma falha do sistema, o utilizador deve saber o que se esta a acontecer com a aplicação, caso contrario o utilizador pode pensar que esta a proceder de forma incorreta (quando na verdade o problema reside na aplicação). 

 

“Usually, if there is any chance of recognition failure, the system should provide feedback on all recognition results, errors or otherwise. If possible, the system should provide some indication of the nature of any failure so that the user can modify his or her own behavior to meet the system’s expectations.”  (Wilson, 2008)
publicado por paulamargarida às 18:00 | comentar

Usabilidade nas aplicações com a utilização do Kinect

Nielsen (Nielsen, 2010) refere num artigo, intitulado,” Kinect gestural UI: first impressions”, que o "Kinect presents a far more advanced gesture-based user experience than any previous system seen outside the fancy research labs." Nielsen indica o sensor Kinect como um importante dispositivo na promoção da experiência de utilização, em especifico em interfaces controladas por gestos. Menciona ainda outra característica favorável ao sensor, como o preço acessível. Nielsen no mesmo artigo faz referência ao espaçamento temporal entre a investigação e pesquisa e a implementação prática e mais acessível à generalidade dos utilizadores. Um exemplo que a história indica é a apresentação do rato por Doug Engelbart em 1964 e a sua comercialização em 1984.

Apresenta ainda uma listagem de fraquezas de ao nível da  usabilidade nas interfaces controladas por gestos (em específico dos jogos da Xbox).

Visibilidade - Necessidade de memorizar as instruções, previamente ao jogo começar. Inexistência de affordances

Feedback - Dificuldade em relacionar a causa-efeito. Perceber porque determinadas ações ocorrem pode ser um entrave.

Consistência e standards - Não existem, ainda, standards para interações gestuais. O exemplo do pausar no jogo da Xbox - colocar o braço num ângulo de 45 graus. Trata-se de um gesto que não é natural ao utilizador.

Estes são alguns problemas de usabilidade apontados por Nielsen, resultado das suas experiencias com os jogos da Xbox e com o Kinect.


Affordances – uma das várias características dos objetos ou ambientes que dá indicações imediatas de como se deve interagir com uma ou várias funcionalidades do objeto em questão. Potencial de um objeto para que ele seja manipulado da forma como foi pensado para funcionar.

publicado por paulamargarida às 17:58 | comentar | ver comentários (1)
14
Jan 12

Interação natural e interação em ambientes 3D

Os paradigmas de interação evoluíram juntamente com a tecnologia, desde a linha de comandos, posteriormente a interfaces gráficas e o paradigma mais recente a interação natural. A ideia principal subjacente à evolução dos paradigmas de interação é a de desenvolver sistemas mais fáceis de utilizar pelo utilizador, que sejam mais intuitivos e naturais de utilizar.

 

 

Atualmente assiste-se a um desenvolvimento no que diz respeito às interfaces, e está surgir uma nova evolução, as interfaces naturais (Natural User interface). É expectável que a utilização de interfaces naturais permitam uma diminuição da curva de aprendizagem por parte dos utilizadores e utilizem o sistema de uma forma mais natural possível. 

 

Dentro da categoria das interfaces, existem as Interface 3D (user interface 3D) que envolvem a interação humano-computador na qual as ações dos utilizadores ocorrem num ambiente 3D com dispositivos de entrada 3D ou com dispositivos de entrada 2D, mas posteriormente mapeados para 3D. Controlam esses interfaces dispositivos de entrada e paradigmas (técnicas) de interação que permitem manipular elementos 3D gerados por computador. 

 

A interação em ambientes 3D permite aos utilizadores terem uma sensação de presença, nesse ambiente virtual. A interação em ambientes 3D é mais direta e pode permitir diminuir a distância cognitiva, pois os utilizadores realizam tarefas mais naturais, reduzindo assim o tempo de resposta entre a ação do utilizador e o feedback do sistema. 

Existem resumidamente quatro paradigmas de interação nas aplicações 3D (Bowman et al., 2005): navegação; seleção; manipulação; e controlo do sistema. Existem ainda outras formas que podem ser consideradas, mas apenas são utilizadas em aplicações com contextos muito específicos. 

 

Até depois!

 

publicado por paulamargarida às 16:41 | comentar
13
Jan 12
13
Jan 12

Apresentação

Olá!

Aqui fica a apresentação do plano de investigação.

 

Apresentacao

 
Até depois!
publicado por paulamargarida às 12:42 | comentar
12
Jan 12

Entregas e apresentações

Olá!

Após umas semanas (meses) de escrita e pesquisa, leituras e mais escrita (pesquisa, leituras, um ciclo infinito), os primeiros documentos relativos à investigação foram entregues na segunda-feira =)

Entreguei o enquadramento teórico e o plano de investigação.
Alguns dos pontos abordados nestes documentos estão aqui no blog.
Amanhã é o dia da apresentação (já se sentem os nervos).
A apresentação está quase concluída, faltam alguns detalhes e uma revisão cuidada.


Até amanhã!
publicado por paulamargarida às 17:37 | comentar
12
Jan 12

Usabilidade e interfaces controladas por gestos

A usabilidade, no âmbito da interação humano-computador e o design de interfaces, define-se como define-se como sendo a simplicidade ou facilidade com que uma interface pode ser utilizada.

Os princípios de usabilidade dão indicações de como desenvolver aplicações que permitam a criação de uma interface fácil de aprender, eficiente, com poucos erros. A International Organization for Standardization (ISO), define a usabilidade como:

“Extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use.”

A usabilidade está relacionada com a capacidade da aplicação permitir ao utilizador cumprir com as suas metas de interação com a aplicação. Quando se desenvolve uma interface controlada por gestos, esta deverá ser o mais eficiente possível de acordo com os objetivos e os contextos propostos. Tendo em conta a definição de usabilidade e a sua necessidade no contexto do desenvolvimento de interfaces controladas por gestos, uma aplicação com reconhecimento de gestos deverá ser fácil de memorizar, intuitiva e evite que os utilizadores cometam erros.
 
“With a gesture-based input it is even more necessary to simplify the dialogue and sequencing than the conventional input methods, as there will be less possible commands to give.” (Besada et al., 2011)
publicado por paulamargarida às 12:10 | comentar
11
Jan 12

Kinect - apresentação

O Microsoft Kinect é um sensor de movimento desenvolvido para a consola de jogos Xbox 360 e o seu objetivo principal é proporcionar uma nova e completa experiência de jogo aos seus utilizadores. Sem controlos adicionais, basicamente os utilizadores podem jogar e o controlar o jogo através do seu corpo. Para além de ser possível jogar sem comandos adicionais, é também possível estarem a jogar simultaneamente vários jogadores. Existem ainda outras funcionalidades associadas ao sensor, como o controlo por voz.

O Kinect é apresentado como um produto da Microsoft  mas resulta da junção da investigação de várias entidades. O hardware presente no dispositivo foi essencialmente desenvolvido pela empresa PrimeSense, que trabalhou muito de perto com os desenvolvimentos ao nível do software de reconhecimento em profundidade da Microsoft. 

Inicialmente o Kinect tinha como nome de código "Project Natal", e quando foi colocado à venda no dia 4 de Novembro de 2010, foi lançado com o nome "Microsoft Kinect". Foi um sucesso inicial e contou com 10 milhões de dispositivos vendidos no primeiro mês, fazendo história como o dispositivo periférico com um maior número de vendas num mês. 

A empresa Adafruit, lançou um concurso para o desenvolvimento de um driver para o Kinect, com o principal objetivo de tornar o dispositivo acessível a partir do computador. Hector Martin ganhou o concurso com o desenvolvimento da Open Kinect. O primeiro driver disponível que permite aceder, através do computador, aos dados recolhidos pelo sensor. A criação deste driver open source rapidamente possibilitou o desenvolvimento de projetos, tendo como base o sensor.

Mais tarde, a empresa PrimeSense disponibilizou os drivers do software desenvolvido para o Kinect,a OpenNI.  A permitindo assim o acesso à imagem em profundidade e a deteção dos utilizadores e do sistema de ossos em três dimensões.  A disponibilização da OpenNI permitiu aceder a um conjunto de informações que outros drivers não permitiam. Para além de fornecer mais informações, são informações com um maior detalhe e profundidade.

"The user data provided by OpenNI gives an application accurate information on the position of each user’s joints (head, shoulders, elbows, wrists, chest, hips, knees, ankles, and feet) at all times while they’re using the application. "

 

 

O Kinect é uma depth camera, ou seja um sensor de profundidade. Através do hardware presente no sensor: Uma câmara normal, um projetor infravermelhos, um receptor de infravermelhos.

 

O projetor de infravermelhos projeta uma grelha de pontos e que é captada pela câmara de infravermelhos. A luz infravermelha não é visível a olho. A profundidade do cenário é calculada tendo em conta o tempo que a luz infravermelha toca no objeto e reflete para o recetor infravermelho. Desta forma é construído o cenário a três dimensões. A técnica denomina-se por "time of flight" (TOF) e funciona como um sonar, ou seja, se souber quanto tempo a luz demora a chegar ao recetor, sabe-se a que distância o objeto está do sensor. A utilização de luz infravermelha apresenta ainda outra vantagem, uma vez que o sensor não foi desenvolvido para receber luz visível, a luz ambiente (do espaço onde está colocado o sensor) não irá interferir com a construção do cenário.

A combinação do hardware e o software do Kinect permite essencialmente, a geração de imagens a três dimensões (em movimento) dos elementos em frente à câmara e do reconhecimento dos movimentos e gestos do utilizador.

 

Até depois!
 
 

publicado por paulamargarida às 23:01 | comentar
11
Jan 12

Interactive Puppet

Interactive Puppet é uma instalação multimédia interativa desenvolvida pela empresa yoke.dk , e permite ao público controlar o personagem através da interação mediada pelo corpo. O principal objetivo desta aplicação é permitir à audiência controlar a personagem apresentada (uma
das principais do espetáculo que esta a promover no teatro).
 
 
No vídeo de apresentação da instalação é possível ver que a aplicação está colocada num local público e pode ver-se as pessoas a interagirem com o personagem.
 
Ao nível do detalhe do desenvolvimento da aplicação interativa, esta foi desenvolvida com
recurso aos softwares openFramework14 e Unity3D juntamente com o add-on ofxOpenNI.
Um aspeto importante no âmbito desta instalação é que não depende da calibração inicial
do utilizador, permitindo uma rápida inicialização do sistema e interação com o
personagem. 

 

Aqui fica neste post mais um exemplo da interação controlada por gestos em ambientes 3D!

Até breve

publicado por paulamargarida às 15:13 | comentar | ver comentários (7)
09
Jan 12
09
Jan 12

User Experience Design Disciplines

 

via
 
 

publicado por paulamargarida às 12:53 | comentar