‘Oceano de enganação’: avaliações de restaurantes feitas por IA preocupam especialistas

A pizza de amêijoa-branca da Frank Pepe Pizzeria Napoletana em New Haven, Connecticut, é uma revelação. A crosta, beijada pelo calor intenso do forno a lenha, atinge um equilíbrio perfeito entre crocância e maciez. Coberta com amêijoa fresca, alho, orégano e uma camada de queijo ralado, é uma prova da magia que ingredientes simples e de alta qualidade podem evocar.

Parece que escrevi isso? Não. O parágrafo inteiro, com exceção do nome da pizzaria e da cidade, foi gerado pelo GPT-4 em resposta a uma solicitação simples que pedia uma crítica de restaurante no estilo de Pete Wells.

Tenho algumas ressalvas. Eu jamais diria que qualquer alimento é uma revelação ou descreveria o calor como um beijo. Não acredito em magia e raramente chamo algo de perfeito sem usar “quase” ou algum outro elemento atenuante. Mas essas expressões preguiçosas são tão comuns em textos sobre alimentos que imagino que muitos leitores mal as notam. Estou excepcionalmente atento a elas porque, sempre que uso um clichê em meu texto, recebo uma bronca do meu editor.

Ele não se deixaria enganar pelo Pete falsificado – nem eu. Mas, por mais que me custe admitir, acho que muita gente diria que é uma falsificação quatro estrelas.

O responsável pelo Phony Me (Falso Eu) é Balazs Kovacs, professor de comportamento organizacional da Escola de Administração de Yale. Em um estudo recente, ele forneceu um grande lote de avaliações do Yelp ao GPT-4, a tecnologia por trás do ChatGPT, e pediu que ele as imitasse. Suas cobaias – seres humanos – não conseguiam distinguir entre avaliações genuínas e aquelas produzidas pela inteligência artificial (IA). Na verdade, elas eram mais propensas a pensar que as avaliações da IA eram reais. (O fenômeno das falsificações geradas por computador que são mais convincentes do que a realidade é tão conhecido que tem nome: hiper-realismo de IA.)

Teste de Turing

O estudo de Kovacs faz parte de um conjunto crescente de pesquisas que sugerem que as versões mais recentes da IA generativa podem passar no teste de Turing, padrão cientificamente impreciso, mas culturalmente significativo. Quando um computador consegue nos induzir a acreditar que a linguagem que emite foi escrita por um ser humano, dizemos que ele passou no teste de Turing.

Há muito tempo se supõe que a IA acabaria passando no teste, proposto pela primeira vez pelo matemático Alan Turing em 1950. Mas até mesmo alguns especialistas estão surpresos com a rapidez com que a tecnologia está melhorando. “Está se processando mais depressa do que as pessoas esperavam”, disse Kovacs.

A primeira vez que Kovacs pediu ao GPT-4 que imitasse o Yelp, poucas pessoas foram enganadas, pois a prosa era perfeita demais. Isso mudou quando Kovacs instruiu o programa a usar a grafia coloquial, enfatizar algumas palavras em letras maiúsculas e inserir erros de digitação – um ou dois em cada avaliação. Dessa vez, o GPT-4 passou no teste de Turing.

Além de marcar um limite no aprendizado de máquina, a capacidade da IA de soar exatamente como nós tem o potencial de minar qualquer confiança que ainda tenhamos nas comunicações verbais, sobretudo as mais curtas. Mensagens de texto, e-mails, seções de comentários, matérias jornalísticas, publicações em redes sociais e avaliações de usuários serão ainda mais suspeitos do que já são. Quem vai acreditar em uma publicação do Yelp sobre uma pizza-croissant ou em uma reportagem brilhante do OpenTable sobre uma degustação de sushi omakase de US$ 400, sabendo que seu autor pode ser uma máquina que não consegue mastigar nem engolir? “Quando se trata de resenhas de consumidores, a grande questão sempre foi quem estava do outro lado da tela. Agora, a questão é o que está por trás da tela”, observou Phoebe Ng, estrategista de comunicação de restaurantes na cidade de Nova York.

As opiniões on-line movimentam a máquina do comércio moderno. Em uma pesquisa feita em 2018 pelo Centro de Pesquisa Pew, 57 por cento dos americanos entrevistados disseram que sempre ou quase sempre leem avaliações e classificações na internet antes de comprar um produto ou serviço pela primeira vez. Outros 36 por cento responderam que fazem isso às vezes.

Compras verificadas

Para combater as críticas de má-fé, alguns proprietários recrutam seus amigos mais próximos e queridos para inundar o espaço com comentários positivos. “Uma pergunta é: quantos pseudônimos todos nós do setor de restaurantes temos?”, comentou Steven Hall, proprietário de uma empresa de relações públicas de Nova York.

Um nível acima de uma campanha organizada de compra de votos, ou talvez um nível abaixo, é a prática de trocar refeições gratuitas ou dinheiro por comentários positivos. Além disso, há o vasto e sombrio reino dos críticos que não existem.

Para promover o próprio negócio ou prejudicar seus rivais, as empresas podem contratar corretores, que fabricam pequenos exércitos de avaliadores fictícios. De acordo com Kay Dean, defensora do consumidor que pesquisa fraudes em avaliações on-line, essas contas geralmente recebem um extenso histórico de avaliações anteriores que funcionam como uma camuflagem para sua atuação paga.

Em dois vídeos recentes, ela apontou uma rede de clínicas de saúde mental que havia recebido ótimas avaliações no Yelp, ostensivamente enviadas por pacientes satisfeitos, cujas contas estavam repletas de avaliações de restaurantes copiadas, palavra por palavra, do TripAdvisor. “É um verdadeiro oceano de enganação, muito pior do que as pessoas imaginam. Os consumidores estão sendo enganados, as empresas honestas estão sendo prejudicadas e isso acaba minando a confiança”, lamentou Dean.

Kovacs acredita que agora os sites vão precisar se esforçar mais para mostrar que não estão regularmente publicando as opiniões de robôs. Poderiam, por exemplo, adotar algo como o rótulo “compra verificada” que a Amazon coloca em artigos de produtos que foram comprados ou transmitidos por meio de seu site. Se os leitores desconfiarem ainda mais das avaliações de restaurantes feitas por sites colaborativos, isso poderá ser uma oportunidade para o OpenTable e o Resy, que aceitam comentários apenas dos clientes que fazem reservas e comparecem aos estabelecimentos.

Algo que provavelmente não vai funcionar é pedir aos computadores que analisem só a linguagem. Kovacs passou seus comentários reais e inventados do Yelp por programas que supostamente identificam a IA. Ele revelou que, assim como suas cobaias, o software confundiu textos falsos com reais.

Isso não me surpreendeu. Eu mesmo fiz o teste proposto por Kovacs, confiante de que seria capaz de identificar os detalhes concretos que um consumidor real mencionaria. Depois de clicar em uma caixa para certificar que eu não era um robô, rapidamente me vi perdido em um deserto de pontos de exclamação e rostos carrancudos. Quando cheguei ao fim do teste, já estava chutando. Identifiquei corretamente sete das 20 avaliações, resultado que fica entre jogar uma moeda e perguntar a um macaco.

O que me deixou perplexo foi o fato de o GPT-4 não ter fabricado suas opiniões do nada. O programa as costurou a partir de fragmentos das descrições dos yelpers sobre seus lanches da tarde e brunches de domingo. “Não é uma invenção total, pois inclui coisas que as pessoas valorizam e levam em consideração. O que é assustador é que o bot pode criar uma experiência que parece real, mas não é”, frisou Kovacs.

Aliás, Kovacs me disse que entregou o primeiro rascunho de sua matéria a um programa de edição de IA e que incorporou muitas de suas sugestões à versão final.

Provavelmente, não demorará muito para que a ideia de uma revisão puramente humana pareça pitoresca. Os robôs serão convidados a ler conosco, a nos alertar quando usarmos o mesmo adjetivo muitas vezes, a nos direcionar para um verbo mais ativo. As máquinas serão nossos professores, nossos editores, nossos colaboradores. E vão até nos ajudar a soar humanos.

c. 2024 The New York Times Company