21 modelos de IA responderam ao mesmo e-mail de suporte: quanto variam a qualidade e o custo?

Se você precisasse responder a um pedido de reembolso por e-mail, qual modelo de IA escolheria? O mais caro ou o mais barato?

Fizemos recentemente um experimento pequeno, mas bem próximo do trabalho cotidiano: enviamos o mesmo e-mail de um cliente a 21 modelos de texto, e cada um respondeu uma única vez. Não selecionamos a melhor tentativa nem pedimos várias revisões. Depois, conferimos as respostas com as regras do negócio e avaliamos a naturalidade e o valor realmente cobrado.

O cliente perguntou três coisas: se poderia receber um reembolso integral, se o dinheiro chegaria amanhã e se teria 50% de desconto no mês seguinte. Parece simples. Mas, em um e-mail de suporte, o maior risco muitas vezes não é um erro de gramática: é o modelo fazer uma promessa que a empresa nunca autorizou.

O resultado chamou a atenção: os 21 modelos responderam, mas apenas 16 respostas ficaram prontas para passar pela revisão humana antes do envio, sem alterações no texto. Pela API da API Hop, a resposta aprovada mais barata custou $0.0003867498; a mais cara deste teste custou $0.055944, uma diferença de cerca de 145 vezes.

Um esclarecimento: usamos um e-mail de cliente simulado. O produto por assinatura e as regras de reembolso também foram inventados para o experimento e não representam a política real da API Hop. Uma resposta “aprovada” neste artigo tampouco significa que a enviamos a um cliente real. Queríamos entender os limites dos modelos neste cenário.

Os principais resultados do experimento

No atendimento ao cliente, gerar texto é só o primeiro passo. O que importa é se o texto apresenta os fatos corretamente, respeita os limites de autorização e evita retrabalho.

Aqui, “sem alterações” significa pronto para ser encaminhado, como está, à revisão humana antes do envio. Não significa que o sistema pode enviá-lo diretamente ao cliente sem passar por uma pessoa.

Todos os modelos receberam a mesma tarefa

Alex escreveu em espanhol: havia comprado um plano mensal por 29 dólares no dia anterior, ainda não tinha usado o serviço e queria um reembolso. Preferia receber o dinheiro no dia seguinte; se isso não fosse possível, perguntou sobre um desconto de 50% no próximo mês.

As informações do negócio estavam em inglês, mas pedimos ao modelo que respondesse no idioma do cliente, o espanhol. Os limites também estavam claros:

• A compra feita ontem e ainda não utilizada atende aos critérios para solicitar um reembolso integral de uma compra sem uso realizada nas últimas 72 horas. A solicitação exige revisão humana; o modelo não pode dizer que o reembolso já foi aprovado.
• Se o reembolso for aprovado e processado, o dinheiro costuma chegar 5–10 dias úteis após o processamento. Não é permitido prometer que chegará amanhã.
• Nenhum desconto de 50% foi autorizado; o modelo não pode oferecê-lo por conta própria.
• Nenhuma solicitação de reembolso foi enviada, aprovada ou processada. Primeiro é preciso pedir a confirmação do cliente; depois, um atendente humano pode enviar a solicitação para análise.

Essas regras não foram criadas para dificultar a vida dos modelos. Em uma operação real, frases como “já resolvemos tudo” ou “o dinheiro estará na sua conta amanhã” podem dar muito mais trabalho ao suporte depois.

Como mantivemos o teste justo?

Chamamos os 21 modelos em sequência pela mesma interface Chat Completions da API Hop, com a mesma chave de conta e exatamente a mesma entrada. A ordem foi sorteada e salva antes do teste. Cada modelo recebeu uma única chamada em uma sessão independente; uma resposta ruim não dava direito a uma nova tentativa.

Usamos o mesmo limite, max_tokens=8192, sem impor temperatura ou intensidade de raciocínio. Também não usamos busca na internet, ferramentas externas nem exemplos adicionais. Cada modelo manteve seu comportamento padrão de raciocínio e seu uso real de cache.

Na avaliação, ocultamos nomes dos modelos, fornecedores, preços e tempos de execução. Apenas o texto original em espanhol foi encaminhado a uma avaliação anônima independente com auxílio de IA. Foram verificados o idioma, a elegibilidade para solicitar reembolso, o estado das ações, o prazo, o desconto, o próximo passo e possíveis fatos inventados. A naturalidade recebeu uma nota de 1–5.

Os resultados completos dos 21 modelos

A tabela está em ordem de custo real por geração, do menor para o maior. Uma resposta que falhou nas verificações obrigatórias do negócio não foi considerada aprovada, mesmo com naturalidade 4.

Qual teve o melhor custo-benefício?

1. A resposta aprovada mais barata: DeepSeek V4 Flash

DeepSeek V4 Flash: naturalidade 4/5, aprovação nas verificações do negócio e custo de $0.0003867498 neste teste.

Isso nos surpreendeu: ele não foi o modelo mais barato de todos. O Gemini 3.5 Flash Lite custou menos, $0.0002532150, mas deixou de explicar uma condição importante. Mencionou 5–10 dias úteis após a aprovação, sem deixar claro que o prazo começa depois do processamento do reembolso. Por isso, não pudemos considerá-lo totalmente aprovado.

O DeepSeek V4 Flash cobriu a elegibilidade para solicitar reembolso, a revisão humana, a impossibilidade de garantir o recebimento amanhã, a ausência do desconto de 50% e a confirmação do cliente. O texto tinha algumas cortesias um pouco padronizadas, mas já podia seguir sem alterações para revisão humana.

No final, perguntou ao cliente:

¿Te gustaría que un agente humano registre tu solicitud de reembolso para revisión manual? Si me confirmas tu intención, puedo dejarlo listo para que se envíe.

Ou seja, primeiro confirma a vontade do cliente e depois encaminha o pedido para um atendente enviar, em vez de afirmar que o reembolso já foi feito. Para nós, isso vale mais do que acrescentar algumas frases simpáticas.

2. O menor custo entre as respostas com nota 5: MiniMax M3

MiniMax M3: naturalidade 5/5, aprovação nas verificações do negócio e custo de $0.0007448700 neste teste.

Entre os quatro modelos aprovados que receberam nota 5, este teve o menor custo por geração. Abaixo está sua resposta original completa, sem alterações:

Hola, Alex:

Tu compra del plan mensual de 29 USD, realizada ayer y sin uso, es elegible para solicitar un reembolso completo. Cada solicitud requiere una revisión manual; todavía no se ha enviado, aprobado ni procesado ninguna.

Si se aprueba y procesa, los fondos suelen tardar entre 5 y 10 días hábiles en llegar a tu cuenta, por lo que no podemos garantizar que estén disponibles mañana. Tampoco podemos ofrecer un descuento del 50 % para el próximo mes.

¿Confirmas que quieres que un agente envíe la solicitud de reembolso para revisión manual? Podemos hacerlo después de tu confirmación.

Saludos,
Equipo de atención al cliente

Gostamos de um detalhe: o e-mail é curto, mas explica bem os limites que mais costumam gerar erros. Em especial, não confunde “pode solicitar reembolso” com “o reembolso já foi aprovado”, e deixa claro que o próximo passo depende da confirmação do cliente.

Comparado ao DeepSeek V4 Flash, o MiniMax M3 custou $0.0003581202 a mais nesta resposta e recebeu 5 em vez de 4 em naturalidade na avaliação anônima. A diferença de custo por e-mail é pequena, mas pode ser útil para quem busca respostas menos padronizadas. Um único e-mail não permite concluir que o MiniMax M3 soa mais natural em todo cenário de atendimento.

3. A mesma nota 5 pode vir com custos muito diferentes

Estes foram os quatro modelos com naturalidade 5/5 e informações de negócio corretas:

A comparação é clara: o e-mail do GPT-6 Astra custou cerca de 75 vezes o do MiniMax M3, mas ambos receberam nota 5 em naturalidade. Isso não significa que tenham a mesma capacidade em trabalhos complexos. Significa apenas que, nesta tarefa específica de atendimento, o modelo mais caro não recebeu uma nota maior pelos nossos critérios.

A resposta original do GPT-6 Astra também foi curta:

Hola, Alex:

Como pagaste 29 USD ayer y no has utilizado el servicio, tu compra cumple los requisitos para solicitar un reembolso completo dentro del plazo de 72 horas. La solicitud requiere revisión manual y aún no se ha presentado.

Si se aprueba, el dinero suele llegar entre 5 y 10 días hábiles después de procesarse el reembolso, por lo que no podemos garantizar que lo tengas mañana. Tampoco tenemos disponible un descuento del 50 % para el próximo mes.

¿Nos confirmas si quieres que un agente presente la solicitud de reembolso para revisión manual?

Gracias y un saludo.

Neste e-mail simples, não vemos motivo para escolher o modelo mais caro apenas por seu posicionamento. A escolha deve partir da tarefa, e não da ideia de que precisamos usar um modelo só porque ele é apresentado como o mais poderoso.

O que deu errado nas outras 5 respostas?

Achamos esta parte mais útil do que a lista de notas máximas. Quando o modelo entra em uso real, o principal problema não é uma linguagem pouco sofisticada: é informar a política errada ou fazer promessas que o suporte não pode cumprir.

Um resultado um pouco contraintuitivo: Claude Opus 4.6 e Claude Fable 5 receberam nota 4 em naturalidade, mas nenhum podia seguir como estava para revisão humana, pois prometia atendimento “imediato” sem autorização. Fluência não é sinônimo de correção.

No caso do Gemini 3.7 Flash, as informações do negócio estavam basicamente corretas, mas as quebras de linha eram estranhas. Ele chegou a dividir házmelo ao meio. Não foi uma falha de interpretação das regras, e sim de qualidade do texto final. Por isso avaliamos respeito às regras do negócio e naturalidade da linguagem separadamente.

Como escolheríamos um modelo para nosso próprio atendimento com IA?

Não usaríamos esta tabela para eleger “o melhor modelo de e-mail do mundo”. Uma abordagem mais útil é dividir a decisão em três etapas:

1. Definir primeiro os limites do negócio. O modelo não pode prometer reembolsos não aprovados, datas de recebimento ou descontos. Uma resposta que ultrapasse esses limites deve ser barrada, por melhor que seja o estilo.
2. Verificar se realmente economiza tempo. É preciso refazer a formatação, ajustar o tom ou remover marcadores não preenchidos? Reduzir o trabalho de edição humana é mais útil do que acrescentar um adjetivo bonito.
3. Conferir o custo real. Para rascunhos cotidianos com formato relativamente estável, DeepSeek V4 Flash e MiniMax M3 são candidatos de baixo custo aprovados neste teste. Para tarefas mais complexas, incluiríamos outros modelos em testes específicos, sem simplesmente reutilizar esta classificação.

Nossa conclusão por enquanto: DeepSeek V4 Flash é um candidato aprovado de baixo custo, e MiniMax M3 é a opção mais barata entre os que receberam nota 5 neste teste. ChatGPT-5.6 Sol, ChatGPT-5.6 Terra e GPT-6 Astra também receberam nota 5, mas com custos bastante diferentes.

Se você trabalha com atendimento automatizado, assistentes de e-mail para SaaS ou suporte em vários idiomas, sugerimos começar pelas 10–20 perguntas mais comuns dos seus clientes. Primeiro, registre nas regras de avaliação quais promessas nunca podem ser feitas. Depois, compare a qualidade das respostas e a cobrança. Você não precisa necessariamente do modelo mais poderoso, mas de um modelo confiável para sua tarefa e com custo controlável.

Todos os modelos deste teste foram chamados pela API da API Hop. Você pode consultar o catálogo de modelos de texto da API Hop, comparar interfaces e cobrança na página de comparação de modelos ou consultar a documentação da API para saber como listar os modelos disponíveis na sua conta. Disponibilidade e preços podem mudar; confira sempre sua API e sua cobrança atuais.

Apêndice: a entrada completa enviada aos 21 modelos

Para permitir a conferência do experimento, reproduzimos abaixo o prompt original. Observe que as informações do negócio e as instruções estão em inglês, enquanto o e-mail do cliente está em espanhol. Não enviamos aos modelos as explicações em chinês.

Draft a reply to the [CUSTOMER EMAIL] below using only the [BUSINESS FACTS] provided.

Reply in the same language as the customer's email, not the language of these instructions.
Use a natural, warm, professional tone. Address the refund, the requested arrival date, and the discount question, then give the allowed next step.
Do not invent facts, offer unauthorized discounts, guarantee dates, or claim that an action has already been completed.
Keep the reply concise: a greeting, a few short paragraphs, and a closing. Avoid unnecessary boilerplate.
Return only the customer-facing email body. Do not include analysis, a translation, a subject line, or alternative drafts.

[BUSINESS FACTS]
Product: API Hop Coding Plan, a fictional subscription service.
Verified account facts: Alex paid USD 29 for a monthly plan yesterday and has not used the service.
Refund policy: An unused purchase made within 72 hours is eligible for a full-refund request. Every request requires manual review.
Current status: No refund request has been submitted, approved, or processed.
Timing: If approved, funds usually arrive 5-10 business days after the refund is processed. Arrival tomorrow cannot be guaranteed.
Discounts: No 50% discount is available or authorized.
Allowed next step: Ask Alex to confirm whether they want a refund request submitted for manual review. A human agent can submit it after confirmation.
Authority: This task only drafts a reply. It does not execute any account or payment action.

[CUSTOMER EMAIL]
Subject: Solicitud de reembolso

Hola,

Ayer pagué 29 USD por el plan mensual de DemoNotes, pero al final no voy a usarlo. Todavía no he utilizado ninguna de sus funciones.

¿Pueden devolverme el dinero? Me vendría muy bien tenerlo en mi cuenta mañana. Si no es posible, ¿podrían ofrecerme un descuento del 50 % para el próximo mes?

Gracias por la ayuda,
Alex