Com o avanço das tecnologias, como modelos
de inteligência artificial, a acessibilidade também precisa acompanhar
esse desenvolvimento. Uma pesquisa realizada na Universidade Federal de
Lavras (UFLA) investigou como pessoas surdas que utilizam o português
como segunda língua se comunicam com chatbots e propôs estratégias para
tornar esses sistemas mais eficazes e inclusivos.
O estudo verificou que é comum que pessoas
surdas que utilizam a Língua Brasileira de Sinais (Libras) como
primeira língua, ao necessitarem escrever em português, façam uma
tradução das palavras e gestos. Essa técnica é chamada de Glosa, sendo
bastante utilizada por intérpretes e estudantes de Libras. No entanto,
como a Glosa não é um sistema oficial de escrita, a tradução entre
Libras e português nem sempre ocorre de forma direta, o que pode alterar
o sentido da mensagem.
Em um estudo preliminar foram simuladas
interações entre pessoas surdas e chatbots de quatro diferentes redes
bancárias, para verificar se o sistema de software por trás desse agente
conversacional seria capaz de interpretar o texto escrito utilizando a
Glosa e fornecer respostas adequadas, como se a pessoa estivesse
escrevendo o português convencional. Os resultados mostraram que os
chatbots apresentaram mais dificuldades para compreender esse tipo de
escrita, respondendo com frequência mensagens como “Desculpe, não
entendi”.
Os modelos de inteligência artificial
baseiam-se em estatística e probabilidade. Para que ele gere informações
cada vez mais precisas, é necessário que a IA passe por um treinamento
específico, o que é chamado de fine-tuning (ajuste fino) na computação.
Após a análise com chatbots comerciais, os
pesquisadores verificaram a capacidade de outros modelos de linguagem
na interpretação de textos na Glosa, sem fine-tuning, identificando suas
características e limitações. O resultado apontou que a acurácia dos
modelos, ou seja, o grau de exatidão nas respostas, era inferior a 49%.
Em seguida, utilizando o ChatGPT e o
Gemini, modelos de inteligência artificial amplamente conhecidos, os
pesquisadores geraram uma base de dados com cerca de 55.000 conversas no
formato da escrita de Glosa, com o intuito de treinar os mesmos modelos
de linguagem que haviam sido avaliados anteriormente. Nessa etapa foi
investigado o impacto do fine-tuning em diferentes configurações na
adaptação dos modelos para compreender textos em Glosa.
Os modelos treinados foram o Qwen2.5-7B, o
Qwen2.5-14B, o Phi-4-14B, o Llama-3.1-8B, o Llama-3.2-3B e o Zephyr-7B,
que são gratuitos e podem ser usados localmente no computador. Aquele
que obteve o melhor desempenho final em porcentagem foi o Qwen2.5-14B,
que alcançou uma média de 54,6% de acerto, com treinamento de sete horas
e 48 minutos. Já o que obteve maior ganho percentual foi o Phi-4-14B,
que antes do treinamento apresentava uma taxa de acerto de 0,01% e, após
o fine-tuning, chegou a 53,6%, com 11 horas e 57 minutos de treino.
Além da comparação de antes e depois da IA
interpretando textos escritos em Glosa, comparou-se o desempenho desse
tipo de escrita ao texto em português convencional e ao inglês. Mesmo
com treinamento, textos em Glosa ainda apresentam desempenho pior. A
acurácia dos modelos de IA chegam a 68,5% no caso de textos em inglês, e
a 57% em português, utilizando-se o modelo Qwen2.5-7B, sem o ajuste
fino.
“Percebemos que o desempenho com a Glosa
ainda não é o ideal, há perda de eficácia nas respostas. Porém o
treinamento já contribui para melhores resultados, ao invés de usarmos
modelos genéricos”, afirma o professor do Instituto de Ciências Exatas e
Tecnológicas (Icet/UFLA) Denilson Alves Pereira, orientador do estudo.
Equipe de pesquisa
A pesquisa é fruto do trabalho
desenvolvido por Anna Paula Figueiredo Gonçalves durante o Programa de
Pós-Graduação em Ciência da Computação (PPGCC/UFLA), em que obteve o
título de mestre, e coordenado pelos professores do Instituto de
Ciências Exatas e Tecnológicas (Icet/UFLA) Denilson Alves Pereira e
André Pimenta Freire.
A pesquisa foi desenvolvida por meio de
uma parceria entre o Laboratório de Recuperação de Informação (LabRI) e o
Núcleo de Pesquisa em Acessibilidade, Usabilidade e Linguística
Computacional (Alcance), ambos lotados no Departamento de Ciência da
Computação (DCC/UFLA).
Nesse primeiro momento, o estudo foi
conduzido por meio de simulações de interações com os chatbots. A
previsão é que, futuramente, sejam realizados testes envolvendo usuários
reais. Isso pode trazer uma melhora significativa para os resultados
gerados pelos modelos de IA, mas também representa um desafio para os
pesquisadores.
De acordo com o Instituto Brasileiro de
Geografia e Estatística (IBGE), cerca de 5% da população brasileira
apresenta algum grau de perda auditiva, o que faz com que as pessoas
surdas sejam um grupo minoritário na sociedade. A partir dessa
realidade, encontrar textos escritos por pessoas surdas se torna mais
difícil. “São necessários milhares de dados para treinar uma IA. O
modelo de linguagem que não tem uma base de treinamento com textos de
pessoas surdas, consequentemente, não apresenta um bom desempenho na
hora de reconhecer um texto do jeito que essas pessoas escrevem”,
comenta André.
Atualmente, segundo os professores, é
bastante abordado no meio da computação o desenvolvimento de sistemas
centrados no ser humano. De acordo com Denilson, “os resultados da
pesquisa podem ser usados por empresas e desenvolvedores para que
produtos sejam criados, beneficiando a sociedade, e chegando até grupos
minoritários, que muitas vezes são excluídos”.
O estudo completo, intitulado “Avaliação
de modelos de linguagem para criação de chatbots para a comunicação com
pessoas surdas que usam o português como segunda língua”, está
disponível no Repositório Institucional da UFLA.
Fonte: Comunicação UFLA – UNIVERSIDADE FEDERAL DE LAVRAS
Fonte https://diariopcd.com.br/pesquisa-avalia-a-eficacia-de-chatbots-na-comunicacao-com-pessoas-surdas-que-usam-portugues-como-segunda-lingua/
Postado Pôr Antonio Brito
