Pesquisa da UFLA avalia eficácia de chatbots na comunicação com pessoas surdas

Estudo analisou a capacidade de modelos de inteligência artificial de compreender textos em Glosa, forma de representação escrita utilizada por pessoas que têm Libras como primeira língua

Uma pesquisa desenvolvida na Universidade Federal de Lavras (UFLA) investigou como chatbots e modelos de inteligência artificial podem ser aprimorados para facilitar a comunicação com pessoas surdas que utilizam o português como segunda língua. O estudo também avaliou as limitações atuais dessas tecnologias e estratégias para torná-las mais acessíveis e inclusivas.

A pesquisa analisou especialmente a utilização da Glosa, uma forma de representação escrita utilizada por pessoas que têm a Língua Brasileira de Sinais (Libras) como primeira língua. A técnica também é utilizada por intérpretes e estudantes de Libras.

Como a Glosa não é um sistema oficial de escrita, a tradução entre Libras e português nem sempre acontece de forma direta. Com isso, o sentido original de uma mensagem pode ser alterado, o que representa um desafio para sistemas de inteligência artificial treinados principalmente com textos em português convencional.

Chatbots apresentaram dificuldades

Em uma etapa preliminar, os pesquisadores simularam interações entre pessoas surdas e chatbots de quatro diferentes redes bancárias. O objetivo era verificar se esses sistemas conseguiriam interpretar mensagens escritas utilizando Glosa e fornecer respostas adequadas.

Os resultados mostraram que os chatbots apresentaram dificuldades para compreender esse tipo de escrita, respondendo frequentemente com mensagens como “Desculpe, não entendi”.

A partir dos resultados, os pesquisadores passaram a avaliar outros modelos de linguagem e sua capacidade de interpretar textos em Glosa. Sem um treinamento específico, a acurácia dos modelos, ou seja, o grau de exatidão das respostas, ficou abaixo de 49%.

Treinamento melhora desempenho

Para tentar melhorar os resultados, os pesquisadores utilizaram o ChatGPT e o Gemini para gerar uma base de dados com aproximadamente 55 mil conversas no formato de escrita em Glosa.

Essa base foi utilizada para realizar o chamado fine-tuning, processo de ajuste e treinamento de modelos de inteligência artificial para uma finalidade específica.

Foram avaliados os modelos Qwen2.5-7B, Qwen2.5-14B, Phi-4-14B, Llama-3.1-8B, Llama-3.2-3B e Zephyr-7B, todos gratuitos e com possibilidade de utilização local em computadores.

O Qwen2.5-14B apresentou o melhor desempenho final, alcançando média de 54,6% de acerto após sete horas e 48 minutos de treinamento.

Já o Phi-4-14B apresentou o maior ganho percentual. Antes do treinamento, o modelo tinha taxa de acerto de apenas 0,01%. Após o fine-tuning, chegou a 53,6%, depois de 11 horas e 57 minutos de treinamento.

Apesar dos avanços, os textos em Glosa ainda apresentaram desempenho inferior quando comparados ao português convencional e ao inglês. Em uma das comparações realizadas, os modelos chegaram a 68,5% de acurácia em textos em inglês e 57% em português, utilizando o Qwen2.5-7B sem ajuste fino.

Segundo o professor Denilson Alves Pereira, do Instituto de Ciências Exatas e Tecnológicas (Icet/UFLA) e orientador do estudo, os resultados mostram que o treinamento específico pode contribuir para melhorar a compreensão dos modelos.

“Percebemos que o desempenho com a Glosa ainda não é o ideal, há perda de eficácia nas respostas. Porém o treinamento já contribui para melhores resultados, ao invés de usarmos modelos genéricos”, afirma.

Pesquisa busca ampliar a acessibilidade

O estudo foi desenvolvido por Anna Paula Figueiredo Gonçalves durante o Programa de Pós-Graduação em Ciência da Computação (PPGCC/UFLA), no qual obteve o título de mestre. O trabalho foi orientado pelos professores Denilson Alves Pereira e André Pimenta Freire, do Instituto de Ciências Exatas e Tecnológicas da UFLA.

A pesquisa foi realizada em parceria entre o Laboratório de Recuperação de Informação (LabRI) e o Núcleo de Pesquisa em Acessibilidade, Usabilidade e Linguística Computacional (Alcance), ambos vinculados ao Departamento de Ciência da Computação (DCC/UFLA).

Até o momento, o estudo foi realizado por meio de simulações de interações com os chatbots. A previsão é que, futuramente, sejam realizados testes envolvendo usuários reais, o que poderá ampliar a avaliação dos resultados e apresentar novos desafios aos pesquisadores.

De acordo com os pesquisadores, uma das dificuldades está justamente na disponibilidade de dados para o treinamento das inteligências artificiais. Como existem menos textos produzidos por pessoas surdas nas bases utilizadas para treinar esses sistemas, os modelos podem apresentar dificuldades para reconhecer diferentes formas de escrita.

Para o professor André Pimenta Freire, ampliar essas bases é importante para que as tecnologias possam atender diferentes grupos da sociedade.

Atualmente, o desenvolvimento de sistemas centrados no ser humano é uma das áreas discutidas na computação. Para Denilson, os resultados da pesquisa podem contribuir para que empresas e desenvolvedores criem produtos mais acessíveis e capazes de atender também grupos minoritários.

O estudo completo, intitulado “Avaliação de modelos de linguagem para criação de chatbots para a comunicação com pessoas surdas que usam o português como segunda língua”, está disponível no Repositório Institucional da UFLA.