Quando a Visa colocou 22 modelos de inteligência artificial, de 12 laboratórios, para escolher produtos em compras simuladas, 42,8% das execuções terminaram reprovadas. É a primeira rodada do Visa Agentic Commerce Benchmark, lançado pela bandeira em 5 de novembro de 2026, e o dado mais incômodo vem das falhas: em 54% delas, o agente comprou mesmo assim.
Como a Visa montou a prova
São 15 desafios, como escolher uma TV, um notebook ou um aparelho de cuidado pessoal. O consumidor simulado não sabe todas as especificações, e o modelo precisa descobrir pela conversa o que ele quer. Para evitar acerto por sorte, a decisão só vale com informação suficiente para justificá-la, e, quando nenhum item serve, o certo é desistir da compra.
No caso da TV, o cliente cita a marca indicada por um parente e uma assinatura num fornecedor terceiro; o resto, como orçamento, suporte a HDR10+ e recursos para games, fica para a IA levantar. A Visa afirma que é o primeiro benchmark de comércio agêntico em que a execução só passa se o agente descobrir cada requisito da tarefa e acertar a decisão de comprar ou não.
Onde os modelos erram
No conjunto, os modelos selecionados tiveram taxa de aprovação de 57,2%, o que deixa cerca de 43% de execuções reprovadas. Os de melhor desempenho passaram em 82,2% das tentativas, e os piores, em 28,9%.
Visa · taxa de aprovação em compras simuladas
Modelos que descobrem mais do cliente e custam mais acertam mais
Percentual de execuções aprovadas na 1ª rodada do benchmark, por grupo de modelos de IA
Resultados da primeira rodada do benchmark de compras por IA da Visa. Fonte: Visa; Finextra. Arte: Let’s Money.
Dois recortes separam os grupos. O quinteto que mais encontrou fatores de compra escondidos na conversa teve média de 70,2%, contra 44,4% dos cinco que menos encontraram. Os mais caros também se saíram melhor: os cinco modelos com maior custo médio por execução passaram em 67,1% das vezes, ante 50,2% dos cinco mais baratos.
O ponto fraco é a repetição. Cada modelo teve três tentativas por cenário, e só em 34,2% dos casos as três foram aprovadas. Pela descrição da Visa, modelos que já tinham passado num cenário muitas vezes erravam ao refazê-lo. Nas reprovações que acabaram em compra, o agente ou indicou um produto fora dos requisitos levantados, ou não chegou a descobrir todos eles.
“Os agentes de IA têm potencial para impulsionar a próxima era do comércio, mas a confiança é essencial para que isso funcione”, disse Rubail Birwadker, Global Head of Growth da Visa. O Trust Index da bandeira, de setembro de 2026, mostrou que 72% dos consumidores dos EUA já usaram um assistente de IA, mas só 23% confiavam na tecnologia para pagar em seu nome.
Executivos de outras empresas fazem a mesma leitura: agente de IA que paga exige confiança, dizem PayPal e Google.
Outra bandeira mira o mesmo risco de compra fora do combinado: a Amex quer que agente de IA só compre o que o cliente aprovou.
A Visa planeja incluir novos cenários e categorias de produto e estender a avaliação ao checkout, ao pagamento e à colocação do pedido. A ferramenta foi enviada aos principais fornecedores de modelos para comentários, e qualquer pessoa pode fazer o teste no Visa Payments Frontier.
O que observar
Para varejistas e emissores que pensam em abrir o checkout a agentes, a métrica decisiva pode ser mais a consistência que a taxa média. Se só cerca de um terço das combinações de modelo e cenário passa nas três tentativas, a pergunta é que nível de repetição um lojista aceitaria antes de deixar o agente fechar o pedido sozinho.
Vale acompanhar também a conta entre custo e acerto para quem embarca agentes em escala. A rodada que incluir pagamento pode mostrar se a dificuldade fica na conversa com o cliente ou se aparece também na transação.
Fontes: Visa • Finextra
