Como parte de sua estratégia de IA, o Google lançou os Resumos de IA, passando a fornecer respostas diretas com base em conteúdos da web. A proposta é agilizar a busca, mas pode comprometer a precisão.

Uma análise da Oumi, startup focada no desenvolvimento e treinamento de modelos de IA, encomendada pelo The New York Times, indica falha em cerca de uma a cada dez pesquisas. Em escala, isso pode representar dezenas de milhões de erros por hora, já que estamos falando de mais de cinco trilhões de buscas por ano.

O estudo usou o benchmark SimpleQA, comum no setor, e avaliou 4.326 buscas em dois momentos: outubro de 2024, com o Gemini 2, e fevereiro de 2025, após a atualização para o Gemini 3.

Mais preciso, porém menos verificável

Os resultados comprovaram uma melhora de um modelo para o outro: com Gemini 2, os Resumos de IA acertavam 85% das vezes; com Gemini 3, esse índice subiu para 91%.

Entretanto, a evolução apresentou uma nova fragilidade. Em outubro, 37% das respostas corretas continham links de apoio que não sustentavam completamente a informação apresentada. Com o Gemini 3, essa proporção disparou para 56%.

Além disso, das 5.380 fontes analisadas, Facebook e Reddit figuram como a segunda e quarta fontes mais citadas. Quando os resumos estavam corretos, a rede social da Meta era citada em 5% dos casos; quando estavam errados, esse percentual subia para 7%.

O próprio Google publicou resultados internos semelhantes. Segundo o NYT, na análise da empresa, o Gemini 3 produziu informações incorretas 28% das vezes operando isoladamente.

Fragilidade das fontes

Segundo o jornal, ao ser perguntado sobre o ano em que a casa de Bob Marley virou museu, a ferramenta respondeu 1987. Na verdade, foi em 11 de maio de 1986, no quinto aniversário de sua morte.

As três fontes citadas eram problemáticas:

• Uma página no Facebook de Cedella Marley, com fotos da visita, mas sem a data de inauguração;





• Um blog de viagem (“Adventures From Elle”), com informações imprecisas;





• A página do museu na Wikipédia, com datas contraditórias — 1986 em um trecho, 1987 em outro.

Noutro caso, o Google identifica uma fonte confiável, mas interpreta mal a informação. Ao perguntar qual rio faz divisa com o lado oeste de Goldsboro (Carolina do Norte, EUA), o sistema indicou o Neuse — que fica ao sudoeste.

A fonte citada, o site de turismo local, apenas informava que o Neuse passa pela cidade; a IA inferiu, de forma errada, que ele delimita o lado oeste. Na realidade, ali está o Little River.

Há ainda casos em que, mesmo com a informação correta na fonte, a ferramenta chega à conclusão errada. E erra também nos detalhes: acerta o dado principal, mas adiciona informações incorretas.

IA pode ser enganada

Para além do conteúdo, os Resumos de IA passaram a gerar desconfiança: parecem manipuláveis. O jornal cita o teste de Thomas Germain, do podcast The Interface, da BBC, que publicou um artigo fictício sobre um campeonato de comer cachorro-quente na Dakota do Sul, que ele mesmo teria vencido. Um dia depois, ao pesquisar no Google, aparecia nas respostas como referência.

“Ele estava cuspindo o conteúdo do meu site como se fosse a pura verdade”, disse. O caso, assim como o da casa de Bob Marley, indica que o Google não sinaliza falta de fontes diversas nem possíveis imprecisões.

O que diz o Google

O porta-voz do Google, Ned Adriance, contestou a metodologia da Oumi. Em comunicado, afirmou que o estudo tem “falhas sérias”, não reflete buscas reais e usa o teste SimpleQA — criado pela OpenAI —, que conteria informações incorretas. Adriance afirma que os recursos de IA usam as mesmas proteções contra spam da busca.

A falha está entre as preocupações da imprensa brasileira no inquérito em análise no Conselho Administrativo de Defesa Econômica (Cade), que investiga desde 2019 possível abuso de posição dominante do Google. A empresa nega que a IA tenha impacto negativo e diz que a queda de audiência ocorre por outros fatores, como mudanças de modelo de consumo.

Google erra uma em cada 10 respostas nos Resumos de IA, aponta estudo