Sistema Interativo Artístico Computacional-(SIAC).pdf

sistema interativo art stico computacional siac igor rafael de sousa 06 86247 felipe de moraes modesto 07 46525 lauro gontijo bruno c sar dias ribeiro 06 80176 1instituto de artes universidade de bras lia unb 2medialab abstract o projeto visa cria o de um sistema interativo que permita criar e manipular imagens em tempo real estabelecendo uma rela o natural fl u da ou seja org nica entre esses elementos esta proposta busca entender e propor uma nova forma de intera o diferente das existentes tal como controles a capacidade se comunicar com um sistema eletr nico e ter uma maior percep o infl uencia a capacidade criativa e a im ersabilidade do usu rio buscamos entender como se deu esta rela o proposto o desenvolvimento de um sistema multim dia interativo tridimen sional entre o homem e o computador nele consideramos o usu rio como um jogador e seu avatar no jogo apenas uma representa o de sua m o a qual deve ser rastreada tridimensionalmente para poder ser fi elmente representada no ambiente virtual al m disso feito o uso de aceler metros e uma luva que detecta o quanto cada dedo esta dobrado a entrada do sistema de capta o traduzida em um modelo virtual a ser sim ulado dentro do mundo virtual haver no m ximo um jogador de cada vez e ele poder sair do ambiente do jogo a qualquer momento dentro do ambiente devem existir fontes de tinta que devem poder ser utilizadas pelo usu rio sempre que necessita o foco tornar as rea es f sicas do ambiente o mais reais poss veis assim tor nando a intera o o mais intuitivas poss vel por outro lado h o uso de licensa po tica na visualiza o sem buscar total verossimilhan a com a realidade ateladepinturafoidesenvolvidademodoqueseuspixelsn osejamquadrados utilizando efeito de gradiente na transi o entre um pixel e outro palavras chave arte computacional parte i introdu o 1 contextualiza o a arte que surge da intera o entre a cria o art stica e a tecnologia a arte da a o e do dinamismo a mais ef mera de todas a arte criada no computador n o est mais em nenhum lugar e em nenhum tempo foi a partir do interesse de artistas pl sticos na ci ncia da computa o que surgiu nos anos 1960 a arte computacional paul klee por exemplo que foi um grande incentivador da rela o da arte e da ci ncia exerceu papel importante no estreitamento da rela o entre arte e ci ncia o termo computa o gr fi ca bastante abrangente dentro de seu estudo e pratica mente pode ser defi nido como o uso de computadores para gerar quaisquer imagens que n o sejam texto a computa o gr fi ca como conhecida intimamente ligada arte j que seu funcionamento defi nido a partir da cria o e manipula o de formas art sticas seu uso feito a partir da renderiza o destas formas e nesta interface que buscamos a criar um ambiente no qual desenvolver o projeto essa intera o defi nida no desenvolvimento do projeto siac a partir da inter a o entre reas de conhecimento como arte m sica ci ncia da computa o e meca tr nica no contexto da ci ncia da computa o segundo o autor christiane paul uma das caracter sticas fundamentais da arte digital a interatividade na qual o usu rio n o um mero espectador mas sim parte do conjunto que comp e a obra e sua intera o com o ambiente as interfaces n o convencionais s o fundamentais pois apesar das t cnicas usuais como o aponte e clique serem inegavelmente formas de se defi nir uma intera o entre o espectador e a obra apenas atrav s desta maior permeabilidade que se tem uma interatividade profunda e pervasiva na qual a obra muda diante do usu rio e moldada a partir de sua infl u ncia 2 inova o proposta classicamente os jogos possuem dispositivos de entrada que n o possuem qualquer simi laridade com o que est sendo simulado o que difi culta a ambienta o do jogador o console wii da nintendo reduz essa barreira com um controle que reconhece sua movimenta o no espa o tridimensional porem ainda ocorrem movimentos n o to talmente intuitivos para execu o de certos a es o sistema proposto busca reduzir ainda mais essa barreira criando uma simula o dam odojogadordentrodoambiente dejogo fazendo comque todas asintera es sejam derivadas de simula es de f sica assim como seria no mundo real espera se que com a interpreta o dos pr prios movimentos da m o do usu rio seja capaz aprofundar a intera o homem m quina o que levaria a uma poss vel nova forma de se criar arte esta diferente das formas tradicionais e unicamente capaz de pro duzir certas t cnicas 2 1 categoriza o o trabalho foi desenvolvido com apoio do proic da unb e se destina primariamente comunidade de pesquisa na rea de jogos e computa o gr fi ca assim como de interfaces n o convecionais 2 2 membros do grupo de desenvolvimento igor rafael de sousa l der do projeto aluno de ci ncia da computa o na universi dade de bras lia com interesse em computa o gr fi ca respons vel pelo desen volvimento da engine gr fi ca que ser utilizada pelo sistema tamb m participara da cria o do ambiente do jogo felipe de moraes modesto aluno de ci ncia da computa o na universidade de bras lia respons vel pela interpreta o dos dados de entrada entrada em infor ma es que a engine poder utilizar para simular a presen a do jogador no ambi ente virtual tamb m participara da cria o do ambiente do jogo lauro adolfo gontijo dos santos aluno de artes visuais na universidade de bras lia respons vel pela modelagem da m o que simulara a m o do jogador no ambiente virtual tamb m participar da cria o do ambiente do jogo bruno c sar dias ribeiro aluno de ci ncia da computa o convidado a participar do projeto como colaborador respons vel pela integra o das partes desenvolvidades pelos outros tr s membros 3 ambiente de simula o e equipamento a imagem da simula o projetada frente do usu rio e a posi o da luva detectada por c meras posicionadas ao lado e acima do usu rio e necess rio um espa o de no m nimo 4x4x4 metros para possibilitar boa movi menta o do jogador sem acidentes e com boa amplitude de movimentos somente uma pessoa participa da simula o de cada vez 3 1 c meras a posi o da m o pode ser observada pelo uso de c meras isto poss vel pois foi de senvolvido no laborat rio um bracelete de leds infravermelhos que servem para defi nir a posi o do bra o duas webcams com seu fi ltro polarizador substitu do por um que passe apenas luz infravermelha uma ao lado e uma acima do jogador usando as duas c meras poss vel se pegar a posi o tridimencional do usu rio verifi cando o centro de massa da luz para se fazer estas an lises foi usado o ambiente opencv para processamento de imagens 3 2 luva a forma o da m o no ambiente 3d depende da capacidade de se abstrair qual o estado da m o a refl ex o de cada um dos dedos para isto foi usado uma luva com cinco sensores de refl ex o estes capazes de medir com boa precis o o quanto cada um dos dedos est dobrado 3 3 acelerometro al m do posicionamento da m o fundamental a inclina o e rota o da mesma para que a simula o seja real para se verifi car estes dados foi usado um aceler metro de tr s eixos com ele capaz de calcular acelera o poss vel abstrair a rota o da m o a partir do estado in cial nos eixos xy do ambiente 3d 3 4 placa de v deo e f sica para melhor utilizar o sistema de simula o physx foi escolhida a seguinte placa nvidia geforce gtx285 648m 1gb gddr3 pci e possui suporte nativo a c lculos com precis o dupla capaz de 1012 opera es de ponto fl utuante por segundo n cleos de processamento 240 parte ii desenvolvimento do projeto 4 metodologia por se tratar de um projeto pr tico te rico primeiramente foram realizadas leituras e estu dos sobre as ferramentas mais apropriadas para viabiliza o do projeto com a conclus o deste processo foram decididos quais os modelos fundamentaisao projeto e iniciou se a etapa de modelagem do sistema um dos resultados desta etapa foi a especifi ca o dos requisitos funcionais tal como a necessidade de uso de alguns equipamentos o subproduto da modelagem do sistema foi a especifi ca o do projeto ap s valida o da modelagem e da especifi ca o com a orientadora do projeto foi iniciado o desenvolvimento o projeto foi desenvolvido com um foco muito grande nos testes progressiva mente ao longo do desenvolvimento do projeto foram testados os produtos computa cionais os testes foram modulares e seu escopo foi reduzido ao elemento espec fi co sendo desenvolvido os ciclos de desenvolvimento foram discutidos com outros membros doprojetoaofi naldeumcicloeosresultadosforamapresentadossemprequenecess rios para atingir os objetivos das etapas de desenvolvimento foram utilizados conhec imentos te ricos adquiridos sobre a tecnologia para a cria o de um software interativo com tecnologia de computa o gr fi ca bem como sobre estudos feitos anteriormente so bre capta o de dados para an lise com o uso de dispositivos externos buscamos no contexto art stico uma maior interatividade entre seres vivos e computadores por meio da intera o entre as reas do conhecimento e desenvolvimento de um sistema que torna poss vel tal intera o ao longo do projeto houveram muitas reuni es e um processo de imers o dentro do laborat rio da artes a rela o com colegas das artes foi fundamental para maior capacidade de entendimento do papel art stico dentro do desenvolvimento do projeto falhas e defeitos foram discutidos para que se buscassem alternativas e solu es os problemas n o foram catalogados pois o processo se encontrava em estagios de de senvolvimento mas problemas encontrados durante o uso do sistema em apresenta es ser o descritos e revistos 4 1 programa o foi escolhida a linguagem de programa o c por sua melhor integra o com as bib liotecas utilizadas e por ser uma linguagem orientada a objetos outro fator importante foi o fato da linguagem possuir pouco overhead computacional e possibilitar maior ca pacidade de processamento 4 1 1 arquitetura a arquitetura de software foi desenvolvida a partir da separa o de m dulos de modo a fazer com que os subsistemas produzidos possam ser reutilizados por qualquer desen volvedor interessado 4 1 2 disponibiliza o para facilitar a disponibiliza o do software produzido foi criado um projeto denom inado siacunb no reposit rio p blico google code as instru es para obten o do c digo fonte do projeto se encontram na p gina siacunb source checkout 5 etapas e cronograma de execu o do plano de trabalho etapa 1 estudos te ricos sobre arte computacional interfaces e dispositivos n o conven cionais etapa 2 levantamento dos requisitos t cnicos do programa etapa 3 modelagem dos dados obtidos no levantamento de requisitos etapa 4 implementa o etapa 5 testes etapa 6 homologa o fi nal do sistema m s1 2 3 4 5 6 7 8 9 10 1112 etapa 1o o o etapa 2o o o etapa 3o o o ox etapa 4o o oox etapa 5o ooox etapa 6oooo tabela 1 o representa tarefas previstas e relizadas x tarefas n o previstas 5 1 mudan as realizadas ap s o primeiro m s de homologa o verifi camos que o ambiente n o estava t o intuitivo como desejavamos alcan ar qualquer objeto com precis o demandava um certo apren dizado por parte do usu rio e al m disso ap s varios testes a palheta virtual sempre estava ou em uma posi o dif cil de manipular ou muito pr xima da tela parte iii t cnicas utilizadas 6 a tela de pintura 6 1 aliasing em imagens em uma imagem digital tradicional s o utilizados um n mero fi nito de pixels quadrados 6 2 em ambientes reais quando um artista utiliza tintas de verdade 6 3 gradiente para tornar a visualiza o do quadro mais suave foi utilizado um conceito diferenciado de pixel no qual cada pixel n o um quadrado e sim um unico v rtice a coloriza o da tela se d pela cria o de um gradiente que cria uma transi o suave entre as mudan as de cores 7 simula o de f sica para dar maior realismo a um jogo tridimensional importante simular as intera es entre os objetos virtuais especialmente quando o jogador controla um destes objetos para que essa simula o seja real stica s o necess rios sistemas que utilizam dados como mas n o limitados a v rtices massa e velocidade para aplicar f rmulas que regem a movimen ta o dos objetos para resolver este problema a empresa ageia desenvolveu um middleware para possibilitar o processamento em hardware da f sica semelhante ao que aconteceu no in cio dos anos 90 com as placas gr fi cas t o grande esta semelhan a que posteriormente a desenvolvedora de placas de v deo nvidia comprou essa tecnologia e a incorporou para ser utilizada em suas placas de v deo passando a cham la de physx 7 1 m todos de simula o o principal problema surge quando trabalha se com um grande n mero de objetos em cena pois a quantidade de c lculos necess rios cresce exponencialmente com o n mero de objetos isso faz com que simula es de fl uidos possuam alto custo computacional j que eles s o simulados por uma grande quantidade de part culas de forma geral quanto maior o n mero melhor a simula o 7 2 renderiza o ap s cada etapa da simula o de f sica os dados s o retornados para a mem ria principal do computador para poderem ser manipuladas se necess rio e renderizadas 7 2 1 tela de pintura a tela simulada como um tecido 7 2 2 fluidos foram testados alguns algoritmos para renderiza o de fl uidos alguns com resultados bem realisticos por m com grande custo computacional e consequentemente criando um gargalo de performance por isso cada particula renderizada apenas como um ponto quadrado na tela 7 3 uso no projeto foram feitos diversos testes com sistemas de simula o de f sica por software por m quando eram utilizados fl uidos a performance fi cava muito aqu m da necess ria para simula o em tempo real por isso foi feita a op o por utilizar o sistema physx que utiliza a grande capacidade de paraleliza o de placas gr fi cas quando do in cio do projeto sua suite de desenvolvimento era dispon vel livre mente pra download mas posteriormente o acesso s ultimas vers es restrito a de senvolvedores cadastrados junto atual desenvolvedora do sistema para isso basta fazer um cadastro gratuito na p gina support default asp deptid 1949 8 opengl e modelos tridimensionais para criar um ambiente real stico necess rio carregar modelos tridimensionais feitos em programas apropriados como este projeto simula a m o do jogador no ambiente virtual escolheu se utilizar a t cnica que simula os ossos e juntas fazendo com que o artista criador do modelo possa defi nir o comportamento da m o e assim atingir maior realismo para exportar os ossos do programa de modelagem tridimensional foi escolhido o padr o de arquivos fbx que possui uma api que facilita a importa o dos dados e assim possibilita melhor inser o do objeto no ambiente gr fi co 8 1 grafo de cena 8 2 fbx 8 3 9 entrada de dados a simula o da luva baseada na capta o de alguns elementos o estado dos abdutores da luva a capta o da posi o da luva pelas c meras e a inclina o do aceler metro essas avalia es ser o feitas por meio dos aparelhos e discutida abaixo 9 1 detec o de pessoas em imagens a avalia o da posi o espacial da pessoa que est participando do ambiente feita por meio de um bracelete emissor de luz infravermelha a capta o deste espectro de luz requer o entendimento de como separar essa banda luminosa das outras e como captar e interpretar os resultados obtidos foi feito um levantamento sobre como modifi car uma c mera digital para que seu fi ltro deixasse passar somente ultravioleta foi estudado tamb m o ambiente de processa mento de imagens e v deos opencv para que se pudesse processar as imagens adequada mente triangular a posi o da m o e responder adequadamente sobre o que foi captado nas c meras a percep o de uma pessoa no ambiente ser feita atrav s de uma pulseira a ser usada juntamente com a luva a qual ser composta de leds infravermelhos usados para gerar um objeto luminoso a ser captado pelas c meras a triangula o da posi o da luva ser o feita a partir de uma s rie de opera es sobre a imagem avaliada pela c mera um fi ltro passa alta eliminar o ru do existente na imagem captada deixando somente a luz mais intensa na imagem e algumas opera es morfol gicas delimitar o a posi o da luva criando um objeto similar a um circulo o centro de massa desse circulo ser defi nido coma como a posi o absoluta da luva para evitarmos ruido pensa se em usar uma fun o para normalizar a posi o da luva assim evitando que diferen as m nimas na capta o tornem a experi ncia desagrad vel 9 1 1 luz infravermelha a utiliza o da luz infravermelha para a produ o da luva resultado de pesquisa para posicionamento e de resultados satisfat rios de projetos anteriores no laborat rio a dis tin o deste tipo de luz a torna interessante no uso para percep o pois com uma camera adaptada a capta o somente deste tipo de onda f cil obter os dados desejados 9 2 detec o da m o a avalia o do estado atual da m o ser feita sobre um framework bem simples no qual temos modelos prontos o que foi estudado sobre este ambiente para o trabalho foram as formas de capta o e interpreta o dos sinais da luva e do aceler metro o resultado destes estudos foi a elabora o de um modelo de coleta de dados para uso resultante da mescla e interpreta o dos dados obtidos a partir dos captadores de cada um dos objetos dos frameworks dispon veis para uso 9 3 aceler metro como foi usado um aceler metro de tr s eixos poss vel atraves do uso da fun o arco tangente se calcular inclina o e rota o da m o h bastante estudo sobre os calculos matem ticos necess rios para calcular as transforma es o uso do acelerometro esbarra em um problema a acelera o gravitacional n o a unica infl uente no sistema pois movimenta es s o consideradas como mudan a no eixo gravitacional ou seja da inclina o da m o n o h solu o viavel para curto prazo pois o equipamento que subsitui o aceler metro para estes fi ns o girosc pio ainda n o h girosc pios de baixo custo para uso com integra o simples tal como por conex o usb 10 conclus o apesar de alguns erros a implementa o foi sufi ciente para que os objetivos do pro jeto fossem alcan ados alguns dos erros relatados poderiam ter sido solucionados se tivessem sido observados de forma mais adequada na etapa de modelagem do sistem