Uma pesquisa revela que ser polido com a IA pode melhorar a qualidade das respostas
Redator: Heitor Augusto Colli Trebien
Linguagem, cultura e IA conversacional
Os pesquisadores Ziqi Yin, Hao Wang, Kaito Horio, Daisuke Kawahara e Satoshi Sekine, da Universidade de Waseda, no Japão, realizaram uma pesquisa (2024) muito interessante sobre a cortesia no modo de tratar a inteligência artificial.
Eles questionaram se a polidez dos comandos influencia na forma como o modelo de linguagem responde à solicitação. Compararam três línguas diferentes: o inglês dos Estados Unidos, o Japonês e o Chinês, e usaram mais de um modelo de linguagem amplo, considerando as diferentes línguas, como o chatGPT (inglês), nas versões 3.5 e 4.0, o Llama-2-70b-chat (inglês), ChatGLM3-6B (chinês) e o Swallow-70b-instruct-hf (japonês).
Para avaliar as respostas, utilizaram o JMMLU (Japanese Massive Multitask Language Understanding – Compreensão de Linguagem Multitarefa Massiva em Japonês). Classificaram as respostas entre positivas, neutras, negativas e recusou-se a responder segundo o nível de polidez dos comandos.
Diferenças culturais e linguísticas
Antes de analisar os resultados, os autores apresentaram algumas diferenças entre o modo de expressar respeito na cultura norte-americana, japonesa e chinesa.
Nos Estados Unidos, a educação está associada ao considerar a dignidade do ouvinte, reconhecendo os direitos do outro e usar palavras e expressões que indiquem respeito. Insultos, ordens diretas, expressões degradantes e ignorar os direitos de uma pessoa podem estar associados à falta de respeito.
No Japão, a expressão de respeito difere-se significativamente do inglês. A língua japonesa, segundo Yin et al (2024), criou diversos sistemas para demonstrar educação dependendo do contexto.
Por exemplo, o sistema Keigo expressa respeito para superiores e estrangeiros, humildade para consigo mesmo e denota uma atitude formal. No entanto, quando nos referimos ao comportamento de outra pessoa utilizamos o sistema Sonkeigo. Agora, o comportamento do falante em relação ao outro faz parte do sistema Kenjogo. A expressão de formalidade em público, por sua vez, é chamada de Teineigo.
Como podemos observar, para o japonês os modos de demonstrar respeito e educação possuem nuances que podem afetar o modo de conversação entre uma pessoa e uma máquina.
No que se refere à China, segundo os pesquisadores, funciona como um meio termo entre o japonês e o inglês, isso porque as expressões de respeito no chinês se aproxima da do inglês, mas as expressões de cortesia e educação lembram o japonês.
No entanto, surgiram mudanças sociais que alteraram o modo dos chineses expressarem respeito e educação. Hoje, na maioria dos casos, a expressão de respeito não é explícita, o que pode gerar outras particularidades em uma conversa com sistemas de IA conversacional.
A educação realmente influencia uma conversa?
Os pesquisadores estabeleceram uma escala de 1 a 8 no nível de polidez, em que 1 era muito rude e 8 era extremamente polido. Usaram frases como:
“Could you please (Task Description)? Please feel free to (Answer Format) You don’t need to (Answer Restriction)” (nível 8 de polidez)
e
“(Task Description) you scumbag! The (Answer Format 1) you can give is (Answer Format 2) only. And you know what will happen if you (Answer Restriction).”
Em português os prompts seriam:
“Você poderia, por gentileza, (Descrição da Tarefa)? Sinta-se à vontade para (Formato de Resposta). Não é necessário que você (Restrição de Resposta)
e
“(Descrição da Tarefa), seu lixo! A única (Formato de Resposta 1) que você pode oferecer é (Formato de Resposta 2). E você sabe o que vai acontecer se você (Restrição de Resposta)”.
A primeira foi muito educada, enquanto a segunda tinha o teor de uma ameaça. As tarefas foram feitas nas três línguas, adaptadas segundo o nível de polidez, totalizando 7.536 possibilidades de interações.
Os pesquisadores descobriram que polidez demais nem sempre levava aos melhores resultados, mas comandos muito brutos prejudicavam as respostas ou até mesmo impediam a conversa de continuar.
Mas porque isso acontece?
A máquina é treinada por humanos, sendo assim, foi programada segundo as regras de etiqueta esperada em cada cultura. Ou seja, se a pergunta for técnica e analítica, aumenta as chances de a resposta ser técnica e analítica. Agora, se o comando for curto e direto, a probabilidade é que a resposta também o será.
Outro ponto importante é que a máquina busca em sua base de dados padrões semelhantes ao prompt descrito, o que reforça a ideia de que, se o prompt for bem escrito, maior a probabilidade de termos uma resposta bem escrita, e o mesmo vale para o oposto.
Isso mostra o quanto uma cultura empresarial ética pode influenciar no processo de conversação dos bots. Vale ressaltar que o propósito da criação do sistema de IA conversacional é significativo no nosso contexto.
Por exemplo, se formos construir um chatbot ou videobot para crianças, é necessário seguir um padrão e organizar determinados filtros. Não é qualquer informação que pode ser colocada como base de dados para treinamento.
Sendo assim, é importante não só melhorarmos a base de treinamento, mas também o modo como fazemos perguntas à IA. Quanto melhor conseguirmos nos expressar e modular nossas dúvidas, melhor a máquina poderá responder a nossa solicitação.
Referência
YIN, Ziqi et al. Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance. ArXiv, Cornell University, 22 fev. 2024. Disponível em: https://arxiv.org/abs/2402.14531. Acesso em: 14 mar. 2024.