intel newsroom

Interaja com um computador sem tocá-lo

A UCL, em colaboração com a Intel, Microsoft e IBM, desenvolve o UCL MotionInput V3, um software para computação sem toque.

Paris Baker, 31 anos, mãe de dois filhos, foi uma ginasta acrobática de elite que representou a Grã-Bretanha e conquistou a prata nos campeonatos europeu e mundial. Aos 26 anos, Paris recebeu um diagnóstico da doença do neurônio motor (MND), que causa fraqueza muscular que gradualmente piora com o tempo e leva à incapacidade. Das muitas coisas que mudaram em sua vida, um elemento essencial foi perder a capacidade de jogar videogame com seus filhos.

Isso foi, até que ela descobriu o MotionInput.

Desenvolvido por acadêmicos e estudantes do departamento de Ciência da Computação da University College London (UCL), em colaboração com Intel, Microsoft e IBM, o UCL MotionInput V3 permite uma computação verdadeiramente sem toque. Com MotionInput e uma webcam comum, um usuário pode controlar um PC gesticulando com as mãos, cabeça, rosto e corpo inteiro ou usando a fala. O software analisa essas interações e as converte em sinais de mouse, teclado e joystick fazendo uso total do software existente.

Veja como a tecnologia se torna mais acessível com o UCL MotionInput e a computação sem toque

A Intel tem um relacionamento de longa data com a UCL para mentoria de projetos de ciência da computação, diz Phillippa Chick, diretora global de contas, Health and Life Sciences, Intel UK. "Trabalhamos com o professor Dean Mohamedally, o professor Graham Roberts e a Sra. Sheena Visram em projetos de mentoria, bem como estrutura de apoio para os alunos. Essa ideia foi proposta pela primeira vez pela equipe da UCL no verão de 2020 como uma série de projetos estudantis da UCL Computer Science IXN [Industry Exchange Network] e surgiu da necessidade de ajudar os profissionais de saúde durante o COVID-19, quando foi necessário manter os computadores compartilhados limpos e livres de germes." A equipe trouxe a bordo a Dra. Atia Rafiq, médica do NHS GP, para melhorar os requisitos clínicos necessários pelos profissionais de saúde da linha de frente.

MotionInput pode abrir um mundo de casos de uso usando mãos ou olhos simultaneamente com a fala. Cada jogo agora pode ser acessível, o progresso dos movimentos dos pacientes pode ser registrado na fisioterapia, e, em um ambiente hospitalar, os cirurgiões podem tomar notas através de gestos manuais e fala sem ter que tocar em um computador. A solução não requer conectividade ou um serviço em nuvem, tornando muito mais fácil de implantar.

"Tem uma grande oportunidade de impactar positivamente a vida de pessoas com condições crônicas que afetam o movimento", diz Phillippa.

A Intel fornece aos alunos da UCL mentoria e tecnologia, incluindo recursos de hardware e software, como o kit de ferramentas OpenVINO™ da Intel. O kit de ferramentas facilita o desenvolvimento de aplicativos baseados em IA e ajuda a aumentar seu desempenho.

Os modelos pré-treinados fornecidos pelo OpenVINO™ permitiram o desenvolvimento mais rápido dos vários componentes e recursos do MotionInput, permitindo que os alunos avançassem sem treinar seus próprios modelos — tipicamente um processo demorado e intensivo em computação.

Costas Stylianou, especialista técnico em Saúde e Ciências da Vida da Intel UK, explica que a otimização significa que o MotionInput V3 "tem várias ordens de melhorias de magnitude em eficiência e uma arquitetura para apoiar o crescimento de aplicativos de computação sem toque como um ecossistema". O desenvolvimento de engenharia de software e arquitetura para V3 foi liderado por estudantes da UCL, Sinead V. Tattan e Carmen Meinson. Juntos, eles levaram mais de 50 alunos da UCL em vários cursos na UCL ciência da computação para construir sobre o trabalho. A equipe também trabalhou com mentores da Microsoft e ibm, notavelmente prof. Lee Stott e Prof. John McNamara.

A solução emprega uma mistura de modelos de aprendizado de máquina e visão computacional para permitir uma interação responsiva. É personalizável permitindo que o usuário escolha entre uma variedade de módulos, tais como:

  • Navegação facial: O usuário pode usar seu nariz ou olhos e um conjunto de expressões faciais para desencadear ações como cliques de botão do mouse, ou com a fala dizendo "clique".

  • Gestos manuais: Uma seleção de gestos manuais pode ser reconhecida e mapeada para comandos e atalhos específicos do teclado, movimentos do mouse, sensoriamento multitoque nativo e canetas digitais com profundidade no ar.

  • Olhar para os olhos com modos de grade e ímã: Para alinhar o cursor em cenários de acessibilidade, um método de calibração automática é implementado para rastreamento ocular que obtém a estimativa de olhar, incluindo um modo de grade e modo magnético.

  • Rastreamento completo do corpo: Os usuários podem definir exercícios físicos e regiões de marcação em seu espaço circundante para jogar jogos de computador existentes.

  • Teclas de voz e legendas ao vivo: Ask-KITA (Know-It-All) permite que os usuários interajam com o computador a partir de um conjunto de comandos de voz, legendas ao vivo e atalhos de teclado sobrepostos.

  • Joypad no ar: Os usuários podem jogar jogos com os botões habituais do joypad ABXY no ar com controles analógicos de gatilho.

"O que torna esse software tão especial é que ele é totalmente acessível", diz Phillippa. "O código não requer equipamentos caros para funcionar. Funciona com qualquer webcam padrão, incluindo a do seu laptop. É apenas um caso de download e você está pronto para ir.

Como o MotionInput permite a navegação facial usando o nariz, olhos e boca, acrescenta Costas, "é ideal para pessoas que sofrem de MND".

O que vem a seguir para o MotionInput?

"O projeto vai continuar e está buscando colaborar com setores da indústria. Os acadêmicos e mentores estão analisando o que pode ser feito para expandir os casos de uso e melhorar continuamente a experiência do usuário", diz Phillippa. "Adoramos trabalhar com os alunos e professores da UCL, pois é inspirador ver o que eles podem fazer com a tecnologia."

Ou como Paris diz, enquanto joga um videogame com seus filhos, "O potencial para a UCL MotionInput mudar vidas é ilimitado."

Mais Contexto: Baixe o software e as instruções do MotionInput Versão 3 (junho de 2022) | Veja demonstrações de MotionInput Versão 3 | Computação sem toque: UCL MotionInput 3 (artigo de notícias sobre ciência da computação da UCL) | Mais sobre o Linkedin