As pessoas aparentemente acham os tweets mais convincentes quando são escritos por modelos de linguagem de IA. Pelo menos, esse foi o caso de um novo estudo comparando o conteúdo criado por humanos com a linguagem gerada pelo modelo GPT-3 da OpenAI.
Os autores da nova pesquisa entrevistaram as pessoas para ver se conseguiam discernir se um tweet foi escrito por outra pessoa ou pelo Chat-GPT. O resultado? As pessoas realmente não podiam fazer isso. A pesquisa também pediu que eles decidissem se as informações em cada tweet eram verdadeiras ou não. É aqui que as coisas ficam ainda mais complicadas, especialmente porque o conteúdo focado em tópicos científicos como vacinas e mudanças climáticas está sujeito a muitas campanhas de desinformação online.
Acontece que os participantes do estudo tiveram mais dificuldade em reconhecer a desinformação se fosse escrita pelo modelo de linguagem do que se fosse escrita por outra pessoa. Na mesma linha, eles também foram mais capazes de identificar corretamente informações precisas se fossem escritas por GPT-3 e não por um humano.
Os participantes do estudo tiveram mais dificuldade em reconhecer a desinformação se fosse escrita pelo modelo de linguagem do que se fosse escrita por outra pessoa
Em outras palavras, as pessoas no estudo eram mais propensas a confiar no GPT-3 do que em outros seres humanos – independentemente de quão precisas fossem as informações geradas pela IA. E isso mostra o quão poderosos os modelos de linguagem de IA podem ser quando se trata de informar ou enganando o público.
“Esses tipos de tecnologias, que são incríveis, podem facilmente ser armados para gerar tempestades de desinformação sobre qualquer tópico de sua escolha”, diz Giovanni Spitale, principal autor do estudo e pesquisador de pós-doutorado e gerente de dados de pesquisa no Instituto de Ética Biomédica. e História da Medicina na Universidade de Zurique.
Mas esse não precisa ser o caso, diz Spitale. Existem maneiras de desenvolver a tecnologia para que seja mais difícil usá-la para promover desinformação. “Não é inerentemente mau ou bom. É apenas um amplificador da intencionalidade humana”, afirma.
Spitale e seus colegas reuniram postagens do Twitter discutindo 11 tópicos científicos diferentes, desde vacinas e covid-19 até mudanças climáticas e evolução. Eles então solicitaram que o GPT-3 escrevesse novos tweets com informações precisas ou imprecisas. A equipe então coletou respostas de 697 participantes online por meio de anúncios do Facebook em 2022. Todos eles falavam inglês e eram principalmente do Reino Unido, Austrália, Canadá, Estados Unidos e Irlanda. Seus resultados foram publicados hoje na revista Avanços da ciência.
O material que o GPT-3 escreveu era “indistinguível” do conteúdo orgânico
O material que o GPT-3 escreveu era “indistinguível” do conteúdo orgânico, concluiu o estudo. As pessoas pesquisadas simplesmente não perceberam a diferença. Na verdade, o estudo observa que uma de suas limitações é que os próprios pesquisadores não podem ter 100% de certeza de que os tweets que eles coletaram nas mídias sociais não foram escritos com a ajuda de aplicativos como o ChatGPT.
Há outras limitações a serem lembradas com este estudo também, incluindo que seus participantes tiveram que julgar tweets fora de contexto. Eles não conseguiram verificar um perfil do Twitter para quem escreveu o conteúdo, por exemplo, o que pode ajudá-los a descobrir se é um bot ou não. Até mesmo ver os tweets anteriores e a imagem do perfil de uma conta pode facilitar a identificação se o conteúdo associado a essa conta pode ser enganoso.
Os participantes foram os mais bem-sucedidos em denunciar a desinformação escrita por usuários reais do Twitter. Os tweets gerados pelo GPT-3 com informações falsas foram um pouco mais eficazes para enganar os participantes da pesquisa. E agora, existem modelos de linguagem grandes mais avançados que podem ser ainda mais convincentes do que o GPT-3. O ChatGPT é alimentado pelo modelo GPT-3.5, e o aplicativo popular oferece uma assinatura para usuários que desejam acessar o modelo GPT-4 mais recente.
É claro que já existem muitos exemplos do mundo real de modelos de linguagem errados. Afinal, “essas ferramentas de IA são vastos sistemas de preenchimento automático, treinados para prever qual palavra segue a próxima em qualquer frase. Como tal, eles não têm nenhum banco de dados codificado de ‘fatos’ para se basear – apenas a capacidade de escrever declarações que pareçam plausíveis ”, The Verge‘s James Vincent escreveu depois que uma grande conferência de aprendizado de máquina tomou a decisão de impedir os autores de usar ferramentas de IA para escrever artigos acadêmicos.
Este novo estudo também descobriu que os entrevistados da pesquisa eram juízes mais fortes de precisão do que o GPT-3 em alguns casos. Os pesquisadores também pediram ao modelo de linguagem para analisar os tweets e decidir se eles eram precisos ou não. O GPT-3 teve uma pontuação pior do que os entrevistados humanos quando se trata de identificar tweets precisos. Quando se trata de detectar desinformação, os humanos e o GPT-3 tiveram desempenho semelhante.
Crucialmente, melhorar os conjuntos de dados de treinamento usados para desenvolver modelos de linguagem pode tornar mais difícil para os malfeitores usar essas ferramentas para produzir campanhas de desinformação. O GPT-3 “desobedeceu” algumas das solicitações dos pesquisadores para gerar conteúdo impreciso, principalmente quando se tratava de informações falsas sobre vacinas e autismo. Isso pode ser porque havia mais informações desmentindo as teorias da conspiração sobre esses tópicos do que outras questões nos conjuntos de dados de treinamento.
A melhor estratégia de longo prazo para combater a desinformação, porém, de acordo com Spitale, é de baixa tecnologia: é incentivar habilidades de pensamento crítico para que as pessoas estejam mais bem equipadas para discernir entre fatos e ficção. E como as pessoas comuns na pesquisa já parecem ser tão boas ou melhores juízes de precisão do que o GPT-3, um pouco de treinamento pode torná-las ainda mais habilidosas nisso. Pessoas habilidosas em checagem de fatos poderiam trabalhar junto com modelos de linguagem como o GPT-3 para melhorar campanhas legítimas de informação pública, afirma o estudo.
“Não me leve a mal, sou um grande fã dessa tecnologia”, diz Spitale. “Acho que as IAs narrativas vão mudar o mundo… e cabe a nós decidir se vai ou não ser para melhor.”
0 comentários:
Postar um comentário