Crédito:Computer scientists Parastoo Abtahi, center, and Mohamed Kari, left, are are working to bring virtual reality into the physical world by pairing mixed reality headsets with robots. Doctoral student Lauren Wang, right, assists in demonstrating how the robot operates. Image Credits: Nick Donnoli/Orangebox Pictures
Cientistas da computação de Princeton estão desenvolvendo maneiras de integrar a realidade virtual ao mundo físico, com o objetivo de enriquecer experiências como colaboração remota, aprendizado, entretenimento e jogos.
Preparando-se para um Futuro de Interação Contínua em Realidade Mista
Parastoo Abtahi, professora assistente de ciência da computação, prevê que a realidade virtual e aumentada eventualmente se tornarão difundidas. Ela enfatiza a importância de permitir que os usuários interajam suavemente com o mundo físico enquanto usam essas tecnologias.
Para isso, Abtahi e o pesquisador de pós-doutorado Mohamed Kari estão combinando realidade virtual com um robô físico controlável. Eles apresentarão seu trabalho no próximo mês no Simpósio da ACM sobre Software e Tecnologia de Interface de Usuário em Busan, Coreia.
Um usuário usando um headset de realidade mista pode escolher uma bebida de um menu e colocá-la virtualmente na mesa à sua frente. Alternativamente, em um cenário mais imaginativo, uma abelha animada poderia entregar um pacote de batatas fritas no sofá.
A princípio, a bebida e as batatas fritas existem apenas como pixels. Em instantes, eles aparecem fisicamente, quase como mágica — mas, na verdade, é um robô escondido entregando o lanche. “Visualmente, parece instantâneo“, disse Abtahi.Fazendo a Tecnologia Desaparecer para a Interação Natural Humano-Computador
Ao remover todos os elementos técnicos visíveis, disse Kari, a experiência parece fluida. O objetivo é tornar a tecnologia invisível, permitindo que a interação entre humanos e computadores pareça completamente natural.
Um grande obstáculo técnico para este sistema é permitir uma comunicação eficaz. Os usuários precisam de uma maneira simples de expressar suas intenções — como selecionar uma caneta do outro lado da sala e movê-la para uma mesa próxima. Para resolver isso, Kari e Abtahi desenvolveram um método de interação no qual gestos simples com as mãos permitem que os usuários escolham objetos à distância.
Esses gestos são convertidos em comandos para o robô, que é equipado com seu próprio headset de realidade mista para entender onde posicionar os itens no espaço virtual.
Outro desafio é gerenciar a adição e a remoção de objetos físicos da visão do usuário. Usando uma técnica chamada 3D Gaussian Splatting, Abtahi e Kari criam uma representação digital realista do ambiente físico. Após a digitalização completa da sala, o sistema pode ocultar objetos — como um robô em movimento — ou introduzir elementos virtuais, como uma abelha animada.
Isso requer a digitalização e renderização digital de todos os objetos e superfícies do espaço. Atualmente, o processo é um tanto trabalhoso, disse Abtahi, mas pesquisas futuras podem simplificá-lo, potencialmente atribuindo a tarefa a um robô. 
