O Nubank passou a testar mudanças no seu agente de IA de atendimento do cartão primeiro com clientes sintéticos, perfis simulados por software, e só depois com gente de verdade. No estudo da equipe de AI Research do banco, cada versão nova ficou pronta, em média, em 4,4 dias, contra 21,2 dias no fluxo anterior, sem simulação.
O método está num artigo de pesquisa publicado no arXiv. Dentro de um ambiente fechado, clientes fictícios, de perfis e demandas variados, fazem conversas de várias rodadas com o agente, e a equipe compara as alternativas antes de qualquer cliente real ser exposto a elas.
Nubank · agentes de IA do atendimento
Com clientes sintéticos, a versão nova do agente sai em menos de cinco dias
Estudo do time de AI Research do Nubank: médias por versão do agente e teste offline do Card Management
Números autodeclarados pela empresa. Fonte: Nubank (05/11/2026). Arte: Let’s Money.
“Cada mudança em um agente de IA é uma aposta na experiência do cliente. A simulação nos permite testar essas apostas primeiro com clientes sintéticos, para que apenas as mudanças com resultados claramente melhores cheguem às pessoas”, afirmou Rohan Ramanath, gerente-geral de IA do Nubank.
Dois agentes do cartão de crédito no teste
A pesquisa olhou para dois robôs que cuidam do cartão. O Card Delivery informa onde está a entrega do plástico e emite segunda via; o Card Management troca o endereço cadastrado e pede nova via. Só o segundo teve as mudanças guiadas pela simulação. O primeiro serviu de base de comparação.
Na rodada offline, uma das versões avaliadas do Card Management levou a 16,0% a fatia de casos em que o robô passava o cliente a um atendente sem necessidade; na versão anterior, eram 22,4%. No A/B que veio depois, já com clientes reais, ele fechou sem ajuda humana uma parcela das sessões 4,9 pontos acima da do Card Delivery e teve tNPS 36,7 pontos acima do dele, a nota de recomendação dada logo após o atendimento.
O próprio Nubank pondera que esse ganho mistura duas coisas: o Card Management cobre mais tarefas que o agente de comparação, então o resultado mede o robô novo e o método juntos. O banco também lembra que sessão encerrada sem pedido de atendente, sozinha, não prova que o problema foi resolvido. Encerrado o A/B, o robô de gestão do cartão foi liberado aos clientes do Nubank no Brasil.
