Interação humano-máquina: reconhecendo e antecipando gestos e ações

Interação humano-máquina: reconhecendo e antecipando gestos e ações

Esta tese tem como objetivo investigar e propor mecanismos de reconhecimento e antecipação de gestos dinâmicos e ações baseando-se apenas em vídeos RGB. Nesse sentido, foram apresentadas seis propostas principais: duas para a representação de movimento em um vídeo, uma para a antecipação de ações, uma para antecipação de gestos e outas duas para o reconhecimento e a antecipação de gestos de forma online (uma para ambientes com apenas uma câmera e outra para ambientes multicâmeras). Todas as propostas foram validadas por meio de diversos experimentos cujos resultados foram comparados a vários baselines. Para isso, foram utilizados cinco conjuntos de dados principais: o Montalbano, o IsoGD e o GRIT, para os gestos capturados por apenas uma câmera; o IS-Gesture, para gestos capturados em um ambiente multicâmeras; e o Acticipate, para a antecipação de ações. Após as análises dos resultados, concluiu-se que: (i) modelos que utilizam apenas vídeos RGB podem ser tão efetivos quanto aqueles que utilizam dados multimodais para o reconhecimento de gestos e ações; (ii) a escolha empírica da informação de contexto é efetiva na separação entre classes com movimentos ambíguos, principalmente em pequenos conjuntos de dados; e que (iii) na tarefa de antecipação, a incerteza sobre a predição de um modelo é um limiar eficaz e mais confiável do que a probabilidade por ele estimada. Em relação ao tempo de execução, os modelos propostos mostraram-se viáveis para fornecer informações para aplicações que demandem uma taxa de atualização de até 10 FPS. Assim, é possível a utilização de tais modelos em uma aplicação interacional em tempo real, em um ambiente com uma ou várias câmeras. Em resumo, todas as propostas mostraram-se bem promissoras, além de obterem resultados que ultrapassam os principais trabalhos da literatura que abordam os conjuntos de dados anteriormente mencionados.

978-85-7772-635-6